maquealone的博客

原创 反爬虫策略

突然接到一个任务，是要对公司的网站做反爬虫策略，于是到网上到处去找相关资料，总结出主要几种反爬虫策略。1、user_agent判断：只允许特定的爬虫引擎和浏览器user_agent访问网站，否则直接报错。可以在nginx中配置，如http://blog.csdn.net/slovyz/article/details/73243926。或者在程序中判断。2、对同一IP进行限流，如果是机器人爬