爬虫Task3

Task3主要是针对IP被封的一些处理方法
Task3链接如下
https://github.com/datawhalechina/team-learning/tree/master/Python%E7%88%AC%E8%99%AB%E7%BC%96%E7%A8%8B%E5%AE%9E%E8%B7%B5/task3
应对IP被封的问题
有几种套路：
1.修改请求头，模拟浏览器（而不是代码去直接访问）去访问
2.采用代理IP并轮换
3.设置访问时间间隔

1.代理ip
主要是确认代理IP地址的有效性
大多数ip代理都不可用
另外http和https代理也有所区别：
HTTP 代理，只代理 HTTP 网站，对于 HTTPS 的网站不起作用，也就是说，用的是本机 IP，反之亦然。

2.selenium
selenium是什么：一个自动化测试工具
selenium应用场景：用代码的方式去模拟浏览器操作过程（如：打开浏览器、在输入框里输入文字、回车等），在爬虫方面很有必要
安装chromedriver时出现了点问题。。

3.session和cookie
Session 是会话的意思，会话是产生在服务端的，用来保存当前用户的会话信息，而 Cookies 是保存在客户端（浏览器），有了 Cookie 以后，客户端（浏览器）再次访问服务端的时候，会将这个 Cookie 带上，这时，服务端可以通过 Cookie 来识别本次请求到底是谁在访问。
可以简单理解为 Cookies 中保存了登录凭证，我们只要持有这个凭证，就可以在服务端保持一个登录状态。
在爬虫中，有时候遇到需要登录才能访问的网页，只需要在登录后获取了 Cookies ，在下次访问的时候将登录后获取到的 Cookies 放在请求头中，这时，服务端就会认为我们的爬虫是一个正常登录用户。