网站反爬虫策略VS反反爬虫策略

网站反爬虫策略
1.通过User-Agent校验反爬
2.通过访问频度反爬
3.通过验证码校验反爬
4.通过变换网页结构反爬
5.通过账号权限反爬

反反爬虫策略制定
1.发送模拟User-Agent：通过发送模拟User-Agent来通过验证，将要发送至网站服务器的请求的User-Agent值伪装成一啊不能用户登陆网站时使用的User-Agent值
2.调整访问频度
通过备用IP测试网站的访问频率阈值，然后设置访问频率比阈值略低。这种方法既能保证爬取的稳定性，又能使效率又不至于过低
3.通过验证码校验：使用IP代理，更换爬虫IP；通过算法识别验证码；使用cookie绕过验证码
应对网站
4.应对网站结构变化：只爬取一次时，在其网站结构调整之前，将需要的数据全部爬取下来；使用脚本对网站结构进行监测，结构变化时，发出告警并及时停止爬虫。
5.通过账号权限限制：通过模拟登录的方法进行规避，往往也需要通过验证码验证
6.通过代理IP规避：通过代理进行IP更换可有效规避网站检测，需注意公网IP代理池是网站重点检测对象。