Python爬虫代理

代理IP的分类

根据代理ip的匿名程度，代理IP可以分为下面四类：

透明代理(Transparent Proxy)：透明代理虽然可以直接“隐藏”你的IP地址，但是还是可以查到你是谁。

匿名代理(Anonymous Proxy)：使用匿名代理，别人只能知道你用了代理，无法知道你是谁。

高匿代理(Elite proxy或High Anonymity Proxy)：高匿代理让别人根本无法发现你是在用代理，所以是最好的选择。

在使用的使用，毫无疑问使用高匿代理效果最好

从请求使用的协议可以分为：

• http代理
• https代理
• socket代理等
  不同分类的代理，在使用的时候需要根据抓取网站的协议来选择。

使用注意事项

反反爬

使用代理ip是非常必要的一种反反爬的方式

但是即使使用了代理ip，对方服务器任然会有很多的方式来检测我们是否是一个爬虫，比如：

• 一段时间内，检测IP访问的频率，访问太多频繁会屏蔽

• 检查Cookie，User-Agent，Referer等header参数，若没有则屏蔽

• 服务方购买所有代理提供商，加入到反爬虫数据库里，若检测是代理则屏蔽

所以更好的方式在使用代理ip的时候使用随机的方式进行选择使用，不要每次都用一个代理ip

代理ip池的更新

购买的代理ip很多时候大部分(超过60%)可能都没办法使用，这个时候就需要通过程序去检测哪些可用，把不能用的删除掉。

使用随机代理来发送请求

"""使用随机代理来发送请求"""

import random
import requests

proxies = [
    {'http': '121.8.98.198:80'},
    {'http': '39.108.234.144:80'},
    {'http': '125.120.201.68:808'},
    {'http': '120.24.216.39:60443'},
    {'http': '121.8.98.198:80'},
    {'http': '121.8.98.198:80'}
]


for i in range(0, 10):
    proxy = random.choice(proxies)
    print(proxy)
    try:
        response = requests.get("http://www.baidu.com", proxies=proxy, timeout=3)
        print(response.status_code)
    except Exception as ex:
        print("代理有问题: %s" % proxy)