selenium配置chrome浏览器的选项

最新推荐文章于 2024-08-06 16:21:24 发布

Kwoky

最新推荐文章于 2024-08-06 16:21:24 发布

阅读量3.4k

点赞数 1

分类专栏：爬虫

本文链接：https://blog.csdn.net/Kwoky/article/details/98503043

版权

爬虫专栏收录该内容

63 篇文章 4 订阅

订阅专栏

在使用selenium浏览器渲染技术，爬取网站信息时，默认情况下就是一个普通的纯净的chrome浏览器，而我们平时在使用浏览器时，经常就添加一些插件，扩展，代理之类的应用。相对应的，当我们用chrome浏览器爬取网站时，可能需要对这个chrome做一些特殊的配置，以满足爬虫的行为。

常用的行为有：
禁止图片和视频的加载：提升网页加载速度。
添加代理：用于翻墙访问某些页面，或者应对IP访问频率限制的反爬技术。
使用移动头：访问移动端的站点，一般这种站点的反爬技术比较薄弱。
添加扩展：像正常使用浏览器一样的功能。
设置编码：应对中文站，防止乱码。
阻止JavaScript执行。

chromeOptions
chromeOptions 是一个配置 chrome 启动时属性的类。

options = webdriver.ChromeOptions()

#禁止图片加载
prefs = {"profile.managed_default_content_settings.images": 2}
options.add_experimental_option("prefs", prefs)

#浏览器不提供可视化页面.
linux下如果系统不支持可视化不加这条会启动失败
options.add_argument('--headless')

#添加代理
在选择代理时，尽量选择静态IP，才能提升爬取的稳定性。因为如果选择selenium来做爬虫，说明网站的反爬能力比较高，对网页之间的连贯性，cookies，用户状态等有较高的监测。如果使用动态匿名IP，每个IP的存活时间是很短的（1~3分钟）。
chromeOptions.add_argument("--proxy-server=http://202.20.16.82:10152")

# 添加UA
options.add_argument('user-agent="MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1"')

#设置编码格式
# 设置默认编码为 utf-8，也就是中文
options.add_argument('lang=zh_CN.UTF-8')

#模拟移动设备
移动设备user-agent表格：http://www.fynas.com/ua
因为移动版网站的反爬虫的能力比较弱
# 通过设置user-agent，用来模拟移动设备
# 比如模拟 android QQ浏览器
options.add_argument('user-agent="MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1"')
# 模拟iPhone 6
options.add_argument('user-agent="Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1"')

#禁用浏览器弹窗
prefs = {
'profile.default_content_setting_values' : {
'notifications' : 2
}
}
options.add_experimental_option('prefs',prefs)

#禁用JavaScript
option.add_argument("--disable-javascript")

#以最高权限运行
options.add_argument('--no-sandbox')

# 指定浏览器分辨率
options.add_argument('window-size=1920x3000')

# 隐藏滚动条, 应对一些特殊页面
options.add_argument('--hide-scrollbars')

#谷歌文档提到需要加上这个属性来规避bug
options.add_argument('--disable-gpu')

#添加crx插件
option.add_extension('d:\crx\AdBlock_v2.17.crx')

driver=webdriver.Chrome(chrome_options=options)