1. 代理ip的购买或者免费获取
- 西刺免费代理IP:http://www.xicidaili.com/
- 快代理:http://www.kuaidaili.com/(本人在用,用于测试时只需使用其免费代理即可)
- 代理云:http://www.dailiyun.com/
2. 测试网址
http://httpbin.org/ip : 该网址专门用来显示ip等信息,在做代理测试时可以爬取该网址来测试自己是否 设置成功。
3. 代码实现
import requests
# 该网址方便查看ip信息以此来查看自己ip是否使用了代理方式
url = "http://httpbin.org/ip"
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36',
}
# 快代理免费代理
proxy = {
"http": "218.21.96.128:58080"
}
resp = requests.get(url, headers=headers, proxies=proxy)
print(resp.text)
有没有感觉requests设置代理ip要比urllib库便捷很多,这也就是现在requests库比较流行的原因。