前言
对于一个合格的爬虫来说,代理IP是不可缺少的组成部分。说来惭愧,我们公司一些基于IEDriver的爬虫在很长一段时间中都是在没有使用代理的状态下运行的。给IE浏览器配置代理的常规方法设置的是全局代理,势必会影响到运行在同一台机器上的不同爬虫进程,而我们没有找到能够给IEDriver配置单进程代理的方法,相对而言ChromeDriver就省心很多了。
关于IEDriver的使用以及代理设置的资料在中文社区比较稀缺,我也是在Github上翻找后,终于找到了一些线索,特此分享。
环境
- Python2.7
- Selenium3.6.0
- IEDriver3.6.0
- IE11.0.96
实现
要对IEDriver配置单进程代理很简单,只需要设置UsePerProcessProxy=True
即可,其他更多的配置内容可以查看https://github.com/SeleniumHQ/selenium/wiki/DesiredCapabilities
接下来是代码
from selenium import webdriver
from selenium.webdriver import DesiredCapabilities
fr