常见的反爬策略汇总

1. 限制IP地址单位时间的访问次数
2. 用户登录才能访问网站内容, 若识别为爬虫账号,封禁IP
3. header, User-Agent检查用户所用客户端的种类和版本, 在请求头中加入CSRF_token识别用户请求(参考form表单验证)
4. Referer, 检查请求由哪里来，通常可以做图片的盗链判断
5. Cookies,检测Cookie中session_id 的使⽤用次数，如果超过限制，就触发反爬策略略
6. 动态加载,网站使用ajax动态加载内容
7. 对前端请求的API的参数进行加密
8. 对网站JS进行混淆加密(适用于对API参数加密的情况,对用于加密的JS进行混淆)
9. 在用户登录时,进行验证码验证(图片验证码或滑动验证码或短信验证码等)
10. 对网页数据展示的总页数进行限制,比如用户只能浏览200页