requests库爬虫设置代理ip

1. 代理ip的购买或者免费获取

• 西刺免费代理IP：http://www.xicidaili.com/
• 快代理：http://www.kuaidaili.com/(本人在用，用于测试时只需使用其免费代理即可)
• 代理云：http://www.dailiyun.com/        

2. 测试网址

http://httpbin.org/ip ： 该网址专门用来显示ip等信息，在做代理测试时可以爬取该网址来测试自己是否 设置成功。

3. 代码实现

import requests
# 该网址方便查看ip信息以此来查看自己ip是否使用了代理方式
url = "http://httpbin.org/ip"

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36',
}
# 快代理免费代理
proxy = {
    "http": "218.21.96.128:58080"
}

resp = requests.get(url, headers=headers, proxies=proxy)
print(resp.text)

有没有感觉requests设置代理ip要比urllib库便捷很多，这也就是现在requests库比较流行的原因。