selenium+python配置chrome浏览器的选项的实现

1. 背景

在使用selenium浏览器渲染技术，爬取网站信息时，默认情况下就是一个普通的纯净的chrome浏览器，而我们平时在使用浏览器时，经常就添加一些插件，扩展，代理之类的应用。相对应的，当我们用chrome浏览器爬取网站时，可能需要对这个chrome做一些特殊的配置，以满足爬虫的行为。

常用的行为有：

• 禁止图片和视频的加载：提升网页加载速度。
• 添加代理：用于翻墙访问某些页面，或者应对IP访问频率限制的反爬技术。
• 使用移动头：访问移动端的站点，一般这种站点的反爬技术比较薄弱。
• 添加扩展：像正常使用浏览器一样的功能。
• 设置编码：应对中文站，防止乱码。
• 阻止JavaScript执行。
• ………

2. 环境

• python 3.6.1
• 系统：win7
• IDE：pycharm
• 安装过chrome浏览器
• 配置好chromedriver
• selenium 3.7.0

3. chromeOptions

chromeOptions 是一个配置 chrome 启动是属性的类。通过这个类，我们可以为chrome配置如下参数（这个部分可以通过selenium源码看到）：

• 设置 chrome 二进制文件位置 (binary_location)
• 添加启动参数 (add_argument)
• 添加扩展应用 (add_extension, add_encoded_extension)
• 添加实验性质的设置参数 (add_experimental_option)
• 设置调试器地址 (debugger_address)

源代码：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

# .\Lib\site-packages\selenium\webdriver\chrome\options.py class Options(object):   def __init__(self):     # 设置 chrome 二进制文件位置     self._binary_location = ''     # 添加启动参数     self._arguments = []     # 添加扩展应用     self._extension_files = []     self._extensions = []     # 添加实验性质的设置参数     self._experimental_options = {}     # 设置调试器地址     self._debugger_address = None

使用案例：

1 2 3 4 5 6

# 设置默认编码为 utf-8，也就是中文 from selenium import webdriver options = webdriver.ChromeOptions() options.add_argument('lang=zh_CN.UTF-8') driver = webdriver.Chrome(chrome_options = options)

4. 常用配置官方网站参考：https://sites.google.com/a/chromium.org/chromedriver/capabilities

4.1. 设置编码格式

1 2 3 4 5 6

# 设置默认编码为 utf-8，也就是中文 from selenium import webdriver options = webdriver.ChromeOptions() options.add_argument('lang=zh_CN.UTF-8')