python 爬虫前奏七 配置Chrome选项

1、ChromeOptions相关配置

chromeOptions 是一个配置 chrome 启动是属性的类。

1.1、配置参数

• 添加启动参数 (add_argument)
• 添加扩展应用 (add_extension, add_encoded_extension)
• 添加实验性质的设置参数 (add_experimental_option)
• 设置 chrome 二进制文件位置 (binary_location)
• 设置调试器地址 (debugger_address)

1.2、构造函数

# .\Lib\site-packages\selenium\webdriver\chrome\options.py
class Options(object):
    def __init__(self):
        self._binary_location = ''           # 设置 chrome 二进制文件位置
        self._arguments = []                 # 添加启动参数
        self._extension_files = []           # 添加扩展应用
        self._extensions = []
        self._experimental_options = {}      # 添加实验性质的设置参数
        self._debugger_address = None        # 设置调试器地址

2、添加启动参数

2.1、模拟移动设备

# 通过设置user-agent，用来模拟移动设备
# 比如模拟 android QQ浏览器
chrome_options.add_argument('user-agent="MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1"')

# 模拟iPhone 6
chrome_options.add_argument('user-agent="Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1"')

2.2、禁止图片加载

# 禁止图片的加载
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
#chrome_options.add_argument('blink-settings=imagesEnabled=false')

2.3、添加代理

from selenium import webdriver
# 静态IP：102.23.1.105：2005
PROXY = "proxy_host:proxy:port"
chrome_options= webdriver.ChromeOptions()
desired_capabilities = chrome_options.to_capabilities()
desired_capabilities['proxy'] = {
    "httpProxy": PROXY,
    "ftpProxy": PROXY,
    "sslProxy": PROXY,
    "noProxy": None,
    "proxyType": "MANUAL",
    "class": "org.openqa.selenium.Proxy",
    "autodetect": False
}
driver = webdriver.Chrome(desired_capabilities = desired_capabilities)

2.4、浏览器启动时安装crx扩展

# -*- coding=utf-8 -*-
from selenium import webdriver
chrome_options= webdriver.ChromeOptions()
chrome_options.add_extension('d:\crx\AdBlock_v2.17.crx')  # 自己下载的crx路径
driver = webdriver.Chrome(options=chrome_options)
driver.get('http://www.taobao.com/')

2.5、加载所有Chrome配置

#-*- coding=utf-8 -*-
from selenium import webdriver
chrome_options= webdriver.ChromeOptions()
p=r'C:\Users\Administrator\AppData\Local\Google\Chrome\User Data'
chrome_options.add_argument('--user-data-dir='+p)  # 设置成用户自己的数据目录
driver = webdriver.Chrome(options=chrome_options)

2.6、携带Cookie

chrome_options = Options()
chrome_options.add_argument("user-data-dir=selenium") 
driver = webdriver.Chrome(options=chrome_options)
driver.get("http://www.baidu.com")

2.7、其他配置

chrome_options.add_argument('--headless') #谷歌无窗口模式
chrome_options.add_argument('--disable-gpu') #谷歌文档提到需要加上这个属性来规避bug
chrome_options.add_argument('disable-infobars') #隐藏"Chrome正在受到自动软件的控制"
chrome_options.add_argument('lang=zh_CN.UTF-8') # 设置中文
chrome_options.add_argument('window-size=1920x3000') # 指定浏览器分辨率
chrome_options.add_argument('--hide-scrollbars') # 隐藏滚动条, 应对一些特殊页面
chrome_options.add_argument('--remote-debugging-port=9222') #远程调试
chrome_options.binary_location = r'/Applications/Chrome' #手动指定使用的浏览器位置

# 更换头部
user_agent = (
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) " +
    "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.57 Safari/537.36"
    )
chrome_options.add_argument('user-agent=%s'%user_agent)

#设置代理
chrome_options.add_argument('proxy-server=' +'192.168.0.28:808')

#设置cookie
driver.delete_all_cookies()# 删除所有的cookie
driver.add_cookie({'name':'ABC','value':'DEF'})# 携带cookie打开
driver.get_cookies()

# 通过js新打开一个窗口
driver.execute_script('window.open("https://www.baidu.com");')

3、添加扩展应用

selenium启动的chrome浏览器是一个空白的浏览器，不带有插件，
需要用到插件时可以先下载好插件的crx文件，在启动时添加进去就可以了

from selenium import webdriver
import selenium.common.exceptions

chrome_options = webdriver.ChromeOptions()
# 设置好应用扩展
extension_path = r'D:\Downloads\steam inventury helper\1.11.1.3_0.crx'
chrome_options.add_extension(extension_path)
# 启动浏览器，并设置好wait
browser = webdriver.Chrome(options=chrome_options)

browser.get('https://steamcommunity.com/login/home/?goto=market%2F')

4、添加实验性质的设置参数

# 设置开发者模式启动，该模式下webdriver属性为正常值
chrome_options.add_experimental_option('excludeSwitches', ['enable-automation']) 
#禁止图片加载
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
# 禁用浏览器弹窗
prefs = {  
    'profile.default_content_setting_values' :  {  
        'notifications' : 2  
     }  
}  
options.add_experimental_option('prefs',prefs)

5、添加Chrome二进制文件位置

chrome_options.binary_location = r"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" 

6、设置调试器地址

# 设置调试器地址
chrome_options.debugger_address()

7、其他参数

–user-data-dir="[PATH]" #指定用户文件夹User Data路径，可以把书签这样的用户数据保存在系统分区以外的分区
–disk-cache-dir="[PATH]" #指定缓存Cache路径
–disk-cache-size= #指定Cache大小，单位Byte
–first run  #重置到初始状态，第一次运行
–incognito  #无痕模式启动
–disable-javascript #禁用Javascript
--omnibox-popup-count="num" #将地址栏弹出的提示菜单数量改为num个
--user-agent="xxxxxxxx" #修改HTTP请求头部的Agent字符串，可以通过about:version页面查看修改效果
--disable-plugins #禁止加载所有插件，可以增加速度。可以通过about:plugins页面查看效果
--disable-javascript #禁用JavaScript，如果觉得速度慢在加上这个
--disable-java # 禁用java
--start-maximized #启动就最大化
--no-sandbox #取消沙盒模式
--single-process #单进程运行
--process-per-tab #每个标签使用单独进程
--process-per-site #每个站点使用单独进程
--in-process-plugins #插件不启用单独进程
--disable-popup-blocking #禁用弹出拦截
--disable-plugins #禁用插件
--disable-images #禁用图像
--enable-udd-profiles #启用账户切换菜单
--proxy-pac-url #使用pac代理 [via 1/2]
--lang=zh-CN #设置语言为简体中文
--disk-cache-dir #自定义缓存目录
--disk-cache-size #自定义缓存最大值（单位byte）
--media-cache-size #自定义多媒体缓存最大值（单位byte）
--bookmark-menu #在工具 栏增加一个书签按钮
--enable-sync #启用书签同步