反爬以及解决思路

常见的反爬手段和解决思路

1. 明确反反爬的主要思路
   反反爬的主要思路就是：尽可能的去模拟浏览器，浏览器在如何操作，代码中就如何去实现。浏览器先请求了地址url1，保留了cookie在本地，之后请求地址url2，带上了之前的cookie，代码中也可以这样去实现。

很多时候，爬虫中携带的headers字段，cookie字段，url参数，post的参数很多，不清楚哪些有用，哪些没用的情况下，只能够去尝试，因为每个网站都是不相同的。当然在盲目尝试之前，可以参考别人的思路。（个人小小建议）

2.通过headers字段来反爬

2.1 通过headers中的User-Agent字段来反爬
通过User-Agent字段反爬的话，只需要给他在请求之前添加User-Agent即可，更好的方式是使用User-Agent池来解决,我们可以考虑收集一堆User-Agent的方式，或者是随机生成User-Agent

2.2 通过referer字段或者是其他字段来反爬
通过referer字段来反爬，我们只需要添加上即可

2.3 通过cookie来反爬
如果目标网站不需要登录 每次请求带上前一次返回的cookie，比如requests模块的session

如果目标网站需要登录 准备多个账号，通过一个程序获取账号对应的cookie，组成cookie池，其他程序使用这些cookie

3.通过js来反爬

4.通过验证码来反爬
通过打码平台或者是机器学习的方法识别验证码。

5.通过ip地址来反爬
同一个ip大量请求了对方服务器，有更大的可能性会被识别为爬虫，对应的通过购买高质量的ip的方式能够解决问题

6.其他的反爬方式
6.1 通过自定义字体来反爬

6.2 通过css来反爬