本文介绍了如何利用Nginx实现防爬虫措施，包括设置robots.txt禁止搜索引擎抓取，通过HTTP_USER_AGENT判断并阻止特定爬虫，以及限制非标准HTTP请求方法。这些方法有助于保护网站资源不被过度抓取。
Robots协议 爬虫协议 通过robots告诉搜索引擎哪些页面可以抓取，哪些不能抓取 robots.txt放到网站根目录
www.taobao.com/robots.txt 查看网站robots
阻止下载协议代理
if ($http_user_agent ~* LWP::Simple|BBBike|wget) {
return 403
}
或编辑网站跟目录下robots.txt文件
vim /application/nginx/html/INNOVATION/robots.txt
User-agent: *
Disallow: /
禁止多数网站爬虫
if ($http_user_agent ~* “qihoobot|baiduspider|googlebot|googlebot-mobile|googlebot-image|mediapartners-google|adsbot-google|yahoo! slurp china|youdaobot|sosospider|sogouspider|sogou web spider|msnbot”) {
return 403
}
nginx限制http请求方法
r e q u e s t
最低0.47元/天 解锁文章
扫一扫
202
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
