爬虫工具之selenium（四）-Chrome Options参数

最新推荐文章于 2024-08-03 09:54:22 发布

饮月九尾

最新推荐文章于 2024-08-03 09:54:22 发布

阅读量1.1w

点赞数 6

分类专栏：爬虫工具文章标签：爬虫

本文链接：https://blog.csdn.net/dragongreenfire/article/details/114915966

版权

本文介绍了如何利用Selenium的Chrome Options配置无头浏览器，包括禁止图片加载、设置代理、模拟移动设备、添加扩展及处理编码问题，以提升爬虫效率并避免反爬策略。

摘要由CSDN通过智能技术生成

这一章学习Chrome Options，主要参考

Selenium笔记（2）Chrome启动选项
python+selenium+Chrome options参数

Chrome Options是一个配置chrome启动时属性的类，通过这个参数我们可以为Chrome添加如下参数：

设置 chrome 二进制文件位置 (binary_location)
添加启动参数 (add_argument)
添加扩展应用 (add_extension, add_encoded_extension)
添加实验性质的设置参数 (add_experimental_option)
设置调试器地址 (debugger_address

Chrome Options常用的行为一般有以下几种：

禁止图片和视频的加载：提升网页加载速度
添加代理：用于翻墙访问某些页面，或者应对IP访问频率限制的反爬技术
使用移动头：访问移动端的站点（一般这种站点的反爬技术比较薄弱）
添加扩展：像正常使用浏览器一样的功能
设置编码：应对中文站，防止乱码
阻止JavaScript执行

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# 实例化一个启动参数对象
chrome_options = Options()
# 使用add_argument()方法添加启动参数

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

饮月九尾

关注关注

6
点赞
踩
34

收藏

觉得还不错? 一键收藏
3
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Selenium笔记（2）Chrome启动选项

weixin_41334453的博客

05-22

715

在Selenium中使用不同的Webdriver可能会有不一样的方法，有些相同的操作会得到不一样的结果，本文主要介绍的是Chrome()的使用方法。其他Webdriver可以查阅官方文档。 Chrome Options 这是一个Chrome的参数对象，在此对象中使用add_argument()方法可以添加启动参数，添加完毕后可以在初始化Webdriver对象时将此Options对象传入，则可...

Selenium ChromeOptions

yudiandian2014的专栏

07-05

192

Selenium ChromeOptions

3 条评论您还未登录，请先登录后发表或查看评论

python seleuimn 添加代理

最新发布

weixin_59685936的博客

08-03

147

python seleuimn 添加代理

selenium中webdriver常用的ChromeOptions参数

weixin_65784341的博客

02-27

2384

【代码】selenium中webdriver常用的ChromeOptions参数。

selenium工具启动Chrome浏览器时配置选项详解

luckyjww的博客

03-21

4993

1、 Chromeoptions 是Chrome浏览器的参数对象，是配置Chrome启动时属性的类。2、Chrome浏览器启动时的参数携带过程：启动参数在初始化Chrome浏览器的webdriver对象时传入option，实现按特定参数启动。5、源代码位置： .\Lib\site-packages\selenium\webdriver\chrome\options.py。3、 Chromeoptions 类是Selenium WebDriver中的一个概念，用于操作Chrome驱动程序的各种属性。

ChromeOptions参数的配置与使用

weixin_42327347的博客

04-26

9007

ChromeOptions配置配置浏览器在启动之初，应该要附加的设置内容。ChromeOptions专门用于配置对应的chrome浏览器。浏览器配置项在实际应用中，一般是用到啥，就去搜啥。要查找新的options函数和内容，因为旧的很多失效了。查找方式： # 表示支持python3及以上版本的浏览器配置 driver = webdriver.Chrome(options=options) # 表示python2.7版本的浏览器配置，不要使用 driver = webdriver.Chrome(ch

python+selenium+Chrome options参数的使用

09-17

主要介绍了python+selenium+Chrome options参数的使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

selenium 的chromeOptions配置

逻辑痒痒挠的博客

12-27

2949

chromeOptions 是一个配置 chrome 启动是属性的类。通过这个类，我们可以为chrome配置如下参数（这个部分可以通过selenium源码看到）：设置 chrome 二进制文件位置 (binary_location) 添加启动参数 (add_argument) 添加扩展应用 (add_extension, add_encoded_extension) 添加实验性质的设置参...

Selenium 选项 chrome_options

yudiandian2014的专栏

08-03

2777

selenium 选项 chrome_options

selenium chromeoptions详解

weixin_45131345的博客

05-04

1488

https://www.cnblogs.com/yangjintao/p/10599868.html

Selenium 之订制启动Chrome的选项（Options）

weixin_42411512的博客

05-14

4073

使用 selenium 时，我们可能需要对 chrome 做一些特殊的设置，以完成我们期望的浏览器行为，比如阻止图片加载，阻止JavaScript执行等动作。这些需要 selenium的 ChromeOptions 来帮助我们完成 1、什么是 chromeoptions chromeoptions 是一个方便控制 chrome 启动时属性的类。通过 selenium 的源码，可以看到，chromeoptions 主要提供如下的功能：（1）设置 chrome 二进制文件位置 (binary_locatio

第四个爬虫 selenium chrome

HopKins

01-23

230

import xlrd import xlwt import time import requests from bs4 import BeautifulSoup from selenium import webdriver from selenium.webdriver.common.keys import Keys mailnums = [] path = 'D:\EMS83Search...

Selenium爬虫 -- 无界面爬取：无头模式及其他参数

_天涯__的博客

10-05

1667

chrome_options = Options() chrome_options.add_argument('--no-sandbox') #解决DevToolsActivePort文件不存在的报错 chrome_options.add_argument('window-size=1920x3000') #指定浏览器分辨率 chrome_options.add_argument('--disable-gpu') #谷歌文档提到需要加上这个属性来规避bug chrome_options.add_arg.

Python网络爬虫：Selenium--以携程酒店为例

lyccomcn的博客

04-03

2182

Selenium是一个用于网站应用程序自动化的工具，它可以直接运行在浏览器中，就像真正的用户在操作一样。它相当于一个机器人，可以模拟人类在浏览器上的一些行为，比如输入文本、点击、回车等。Selenium支持多种浏览器，本文以Chrome浏览器为例。chromedriver是一个驱动Chrome浏览器的驱动程序，针对不同的浏览器有不同的driver。

Selenium实战-模拟登录淘宝并爬取商品信息_使用selenium模拟真实登录行为,并爬取商品评论数据。

2401_84009899的博客

04-21

802

def login_taobao(): print(‘开始登录…’) try: login_url=‘https://login.taobao.com/member/login.jhtml’ driver.get(login_url) input_login_id = wait.until(EC.presence_of_element_located((By.ID, ‘fm-login-id’))) input_login_password = wait.until(EC.presence_of_eleme

Selenium Chrome的最全常用Option及其一些加速优化

热门推荐

xfxuezhang.cn

04-19

1万+

很全，记录一下

自动化进阶之路,selenium中webdriver的ChromeOptions参数说明

weixin_46025563的博客

12-13

4565

使用 --headless,–remote-debugging-pipe和–remote-debugging-port=0（是的，特别是0 ）时也会设置此值。与 --use-fake-device-for-media-stream 一起使用。–use-file-for-fake-video-capture=：使用文件进行虚假视频捕获（.y4m 或 .mjpeg）需要–use-fake-device-for-media-stream。no-user-gesture-required始终自动播放视频的值。

6-selenium ChromeDriver 中的 options 参数设置

chuiai8582的博客

06-28

3407

以下面的简单例子说明，每个都有备注，这边列出用的比较频繁的，不全，但是够用！ from selenium import webdriver chrome_options=webdriver.ChromeOptions() # 设置谷歌浏览器的一些选项 chrome_options.a...

selenium --headless 反爬

09-24

selenium --headless 反爬是一种使用Selenium和headless模式来绕过网站反爬虫机制的方法。当使用headless模式时，浏览器不会显示界面，而是在后台运行。这种方式可以模拟用户在浏览器中的行为，包括执行JavaScript、点击、输入等操作，从而绕过常见的反爬虫手段，例如检测浏览器标识、验证码等。在Python中使用Selenium和headless模式，你可以通过设置chrome_options.add_argument("--headless")来启用headless模式。这样在运行Selenium时，浏览器会以无界面的方式运行，不会弹出实际的浏览器窗口。同时，为了更好地模拟真实用户行为，你还可以设置User-Agent，以使请求看起来更像是来自真实的浏览器。使用chrome_options.add_argument('user-agent=Mozilla/5.0(Macintosh;IntelMacOSX10_15_7)AppleWebKit/537.36(KHTML,likeGecko)Chrome/86.0.4240.198Safari/537.36')来设置User-Agent。需要注意的是，使用selenium --headless 反爬并不能保证绝对的成功，因为网站的反爬虫机制可能会不断更新。此外，使用该方法进行爬取时，也需要遵守相关法律法规和网站的使用规则，确保不侵犯他人权益。