- 博客(1)
- 收藏
- 关注
原创 反爬虫策略
突然接到一个任务,是要对公司的网站做反爬虫策略,于是到网上到处去找相关资料,总结出主要几种反爬虫策略。1、user_agent判断:只允许特定的爬虫引擎和浏览器user_agent访问网站,否则直接报错。可以在nginx中配置,如http://blog.csdn.net/slovyz/article/details/73243926。或者在程序中判断。2、对同一IP进行限流,如果是机器人爬
2018-01-30 16:44:53 612
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人