关于爬虫代理（1）

1：代理的设置

1 . 获取代理

• 免费代理：http://www.xicidaili.com/
  • 免费代理大多数情况下都是不好用的，推荐使用付费代理。
• 免费代理：http://31f.cn/
• 在本机上安装一部代理软件，他会子啊本地9743端口上创建HTTP代理服务，即代理为127.0.0.0：9743
• 还可以在9724端口创建SOCKS代理服务，即代理服务为127.0.0.1：9742，只要设置了这个代理，就可以成功将本机IP切换待代理软件连接服务器的IP了
• 设置代理后测试的网址：http://httpbin.org/get，其中origin字段就是客户端的IP，可以根据这个判断是否成功伪装了IP。

2 . urllib

• 以最基础的urllib为例，来看一下代理的设置方法。示例代码如下：

from urllib.error import URLError
from urllib.request import ProxyHandler,build_opener
#如出现10061错误，先检查代理是否可用
proxy = '210.72.14.142:80' 
#借助ProxyHandler设置代理，参数是字典类型，键名为协议类型，键值是代理，下面的代理前面需要加上http或者https
proxy_handler = ProxyHandler({
    'http':'http://' + proxy,
    'https':'https//' + proxy
})
#利用 build_opener方法传入该对象来创建一个Opener，
#这样就相比于此Opener已经设置好代理，接下来直接调用Opener对象的open()方法，即可访问我们想要的代理
opener = build_opener(proxy_handler)
try:
    response = opener.open('http://httpbin.org/get')
    print(response.read().decode('utf-8'))
except URLError as e:
    print(e.reason)

• 运行结果如下：

{
  "args": {},
  "headers": {
    "Accept-Encoding": "identity",
    "Connection": "close",
    "Host": "httpbin.org",
    "User-Agent": "Python-urllib/3.6"
  },
  "origin": "210.72.14.142",
  "url": "http://httpbin.org/get"
}

3. requests

• 对于requests来说，代理设置更加简单。只需要传入proxies参数即可，以上例代码为例，requests的代理设置如下：

import requests
proxy = '210.72.14.142:80'
proxies = {
    'http':'http://'+proxy,
    'https':'https://'+proxy,            #这里必须加上逗号，不然会报错
}
try:
    response = requests.get('http://httpbin.org/get',proxies = proxies)
    print(response.text)
except requests.exceptions.ConnectionError as e:
    print('error',e.args)

• 这里需要在浏览器的代理设置里面的局域网设置，改为自动检测设置，才不会报 “ [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。” 错误

{
  "args": {},
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Connection": "close",
    "Host": "httpbin.org",
    "User-Agent": "python-requests/2.19.0"
  },
  "origin": "210.72.14.142",
  "url": "http://httpbin.org/get"
}

4. Selenium

• Selenium设置代理的方式主要有两种，一种为有界面浏览器，以Chrome为例：一种为无界面浏览器，以PhantomJS为例

Chrome

对于Chrome来说，用Selenium设置代理的方法，代码如下：

from selenium import webdriver

proxy = '210.72.14.142:80'
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server=http://'+proxy)
browser = webdriver.Chrome(chrome_options=chrome_options)
browser.get('http://httpbin.org/get')

• 上例中，我们通过ChromeOptions来设置代理，在创建Chrome对象的时候用chrome_options参数传递即可
• 运行代码之后便会弹出一个chrome浏览器，页面连接结果如下：

{
  "args": {}, 
  "headers": {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8", 
    "Accept-Encoding": "gzip, deflate", 
    "Accept-Language": "zh-CN,zh;q=0.9", 
    "Connection": "close", 
    "Host": "httpbin.org", 
    "Upgrade-Insecure-Requests": "1", 
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36"
  }, 
  "origin": "210.72.14.142", 
  "url": "http://httpbin.org/get"
}

• 上例中，代码设置成功，origin同样为代理IP的地址。

PhtantomJS

• 对于PhtantomJS来说，代理设置方法可以借助service_args参数，也就是命令行参数，代码如下：

from selenium import webdriver

service_args = [
    '--proxy=210.72.14.142:80',
    '--proxy-type=http'
]
browser = webdriver.PhantomJS(service_args=service_args)
browser.get('http://httpbin.org/get')
print(browser.page_source)

• 运行结果的origin同样为代理的IP
• 如需认证，那么只需要在service_args里面加入–proxies-auth选项，参数改动如下

service = [
    '--proxies=210.72.14.142:80',
    '--proxy-type=http'
    '--proxies-auth = username:password

• 其中username和password替换为认证需要的用户名和密码即可。

5. 小结

• 前面介绍了请求库的代理设置方法，后面将使用这些方法来搭建代理池和爬取网站。