爬虫——2020.10.6 代理相关知识

代理：

破解封IP的这种反爬机制。

1. 什么是代理：代理服务器。
2. 代理的作用：突破自身的IP访问限制，并隐藏自身的真实IP。
3. 代理相关的网站：
   （1）快代理
   （2）西祠代理
   （3）www.goubanjia.com
4. 代理IP类型：
   （1）http：应用到http协议对应封url中
   （2）https：应用到https协议对应的url中。
5. 代理IP的匿名度：
   （1）透明：服务器知道这次请求使用了代理，也知道请求对应的真实IP
   （2）匿名：知道使用了代理，但不知道真实IP
   （3）高匿：不知道使用了代理，更不知道真实IP
6. 实际操作：在发送请求时加入proxies参数，为字典形式，键为http或https,值为IP地址。
   实例：requests.get(url, headers, proxies={'https':'匿名的ip地址'})