Python爬虫笔记（三）

利用代理进行爬虫
爬虫过程中可能会遇到封锁ip的情况
但是可以使用代理服务器再次进行爬取
这里推荐几个有免费代理的网站：
http://proxy.newday.me/
http://www.proxycn.com/
https://www.kuaidaili.com/ops/
学习期间可以使用免费代理

import requests
proxy = {
    'http':'111.230.254.195:8118'
}
response = requests.get("http://httpbin.org/ip",proxies = proxy)

设置代理服务器语法也较为简单，主要是在get方法中加入proxies，proxy是一个字典，中间只有一个属性为http，属性值为要使用的 代理服务器:端口号。