nginx+lua+redis实现后端反爬虫(未完成)
一、通过nginx判断user-agent实现反爬虫进入到nginx安装目录下的conf目录,将如下代码保存为 agent_deny.confcd /usr/local/nginx/confvim agent_deny.conf123456789101112#禁止Scrapy等工具的抓取if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { ...
原创
2018-02-27 17:46:16 ·
1233 阅读 ·
0 评论