常见的反爬措施及解决方案

1.IP封锁
因为会对用户产生误伤，所以网站一般不会对用户的IP进行长时间的封锁。
解决方案：
（1）修改程序的访问频率
（2）使用IP代理的方式来对网站进行爬取

2.协议头
绝大多数网站，访问时会判断访问来源。
解决方案：
（1）访问时添加协议头

3.验证码
当用户请求频率过高的时候，有些网站就会触发验证码验证机制。
解决方案：
接入打码API，例如云打码。

4.需要登录
有些网站需要用户登录之后才能够获取页面中的信息，那么这种防护能非常有效的防止数据被大批量的被爬取。
解决方案：
（1）小数据量进行爬取(模拟登录后再去爬取，或者使用cookies 直接进行爬取)
（2）申请诸多的账号去养这些号，然后登录，或者获得cookies进行爬取。

5、动态页面的爬取
有一些网站的数据和图片是用JS代码动态生成的，那么服务器端，就会通过判断该用户是否访问了这些资源来判断是否爬虫。
解决方案：
（1）使用selenium