大家都知道网络上的爬虫非常多,爬虫有利也有弊,爬虫可以让我们的网站容易被其他人搜到,比如百度蜘蛛(Baiduspider)
问题是有些爬虫不遵循robots规则对服务器造成压力,或者是恶意爬取网页、采集数据。不好的爬虫会耗费大量的服务器资源
影响正常的用户使用。有些服务器是按流量计费,被爬虫耗费很多流量要交这些额外产生的费用,比如:七牛
Nginx反爬虫
在Nginx
安装目录下的conf
目录创建个spider
目录,spider
下新建个agent_deny.conf
cd /usr/local/nginx/conf # 进入nginx配置文件目录
mkdir spider # 新建spider目录
cd spider # 进入spider目录
vim agent_deny.conf # vim创建并编辑agent_deny.conf文件
agent_deny.conf
配置如下