爬虫必学库【requests】

Python的requests库是一个非常流行且易于使用的HTTP客户端库，它广泛应用于网络爬虫领域。在爬虫中，requests可以用来发送HTTP请求，获取网页内容或者与API进行交互。

实用经验：

1. 设置请求头（User-Agent）： 网站往往根据User-Agent来判断访问者是否为真实用户或爬虫。因此，模拟浏览器的User-Agent可以减少被识别为爬虫的风险。

2. 处理重定向： requests默认会处理重定向，但有时我们需要获取重定向前的响应信息，可以设置allow_redirects为False来禁止自动重定向。

3. 使用会话（Sessions）： Session对象允许你在跨请求时保持某些参数，它也会在同一个Session实例发出的所有请求之间保持cookies。

4. 超时设置： 总是为requests调用设置timeout参数，以避免程序永远挂起等待响应。

5. 异常处理： 使用try/except块来捕获如ConnectionError，Timeout等异常。

6. 限制最大重试次数： 通过requests.adapters.HTTPAdapter来设置最大重试次数，避免某些临时问题导致请求失败。

7. 代理使用： 在需要避免IP被封或者进行地区内容访问时，使用代理是一个好办法。

使用Session与不使用Session：

requests.Session的特点：

• 保持连接（Connection pooling）： Session对象将会在同一个Session实例的请求之间重用底层的TCP连接，这意味着减少了TCP连接的建立和关闭的时间，提高了效率。

• 保持Cookies： 对于需要登录后才能获取数据的网站，Session可以保持登录状态，因为它可以跨请求保存cookies。

优点：

• 能够跨请求保持cookies，从而维持登录状态或者会话信息。
• 提高请求效率，减少了重复的连接建立过程。
• 可以设置默认的请求参数，如headers，从而减少代码重复。

缺点：

• 如果不正确地管理Session，可能导致资源泄露，比如没有及时关闭连接。
• 在多线程环境中，如果共享了Session对象且没有妥善处理，可能会导致数据混乱。

常见问题及解决方法：

1. 被网站封禁： 使用代理服务，设置合适的请求头，增加请求间隔时间。

2. SSL证书验证失败： 如果确定不是中间人攻击，可以设置verify=False来忽略SSL证书验证（不推荐）。

3. 重定向问题： 通过设置allow_redirects参数来控制重定向。

4. 编码问题： 确认网页的正确编码方式，如果requests没有正确识别，可以手动指定（response.encoding='utf-8'）。

5. 登录状态维持： 使用Session对象来保持cookies，维持会话。

6. 数据提交： 确认正确的HTTP方法（GET, POST, PUT等）和所需的数据格式（表单，JSON等），在请求中设置正确的参数。

7. 动态内容加载： 如果网页内容是通过JavaScript动态加载的，requests无法直接获取，需要结合Selenium或Pyppeteer等工具。

通过综合运用requests库的不同功能和技巧，可以构建一个强大且鲁棒的爬虫系统。记得遵守目标网站的robots.txt文件规定和法律法规，进行合规的爬虫开发。