针对于selenium的一些常规配置(防检测,无头,保留自己浏览器的登录信息等)

已于 2023-03-13 17:22:46 修改
阅读量2.8k 收藏 36
点赞数 7
分类专栏： selenium python 文章标签： selenium chrome python
于 2023-02-04 23:26:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51731164/article/details/128886844
版权

在使用selenium的时候有时候会受到网站的检测导致我们的程序被迫中止,因此我们需要给selenium添加一些浏览器特征来防止被网站检测到**(1-4为防检测配置)**.

  1. 在给selenium添加参数的时候,我们可以使用add_argument
option = webdriver.ChromeOptions()  # 首先实例化一个ChromeOptions
  1. selenium添加user-agent参数
option.add_argument('user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36')
  1. 去除 “Chrome正受到自动化测试软件的控制”
option.add_experimental_option('excludeSwitches', ['enable-automation'])
  1. 添加浏览器特征
option.add_argument("--disable-blink-features=AutomationControlled")
  1. selenium无头模式(即不会弹出浏览器来运行)
option.add_argument('--headless')
  1. 保留自己浏览器的cookie信息等,让selenium操作的浏览器跟自己所使用的一样,而不是新开一个,在操作一些需要登录的网站的时候,可以直接免登陆
option.add_argument(r'--user-data-dir=C:\Users\honor\AppData\Local\Google\Chrome\User Data')
  1. 在新版的selenium中，在代码执行完之后浏览器就会自动关闭，但我们在调试的时候可能不需要它自动关闭，因此可以通过以下代码来让浏览器不自动关闭
option.add_experimental_option("detach", True)

而–user-data-dir=后面的值可以在谷歌浏览器(chrome://version/)中看到,替换为自己的即可
谷歌浏览器信息保存路径
在最后实例化driver对象的时候,将option添加到其中即可

driver = webdriver.Chrome(options=option)

感谢您的阅读!

Mr_WV
关注
  • 7
    点赞
  • 踩
  • 36
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
无可视化界面（无头浏览器）+反检测
qq_43278562的博客
04-06 649
使用selenium时进行网页自动化时，如果我们不想看到弹出网页，想要在背地里偷偷地执行，这就叫做无可视化界面，即无头浏览器。 所谓的反检测是为了让网站服务器检测不出我们使用了selenium，否则某些门户网站通过使用反爬手段导致我们无法爬取成功。 这些代码不用去死记硬背，只需要在需要使用的时候拿过来用就可以了。 from selenium import webdriver from time import sleep # 实现无可视化界面 from selenium.webdriver.chrome.op
selenium跳过webdriver检测并模拟登录淘宝
09-19
主要介绍了selenium跳过webdriver检测并模拟登录淘宝，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
python-selenium-规避检测,无头浏览器
m0_74739916的博客
02-23 969
python-selenium-规避检测,无头浏览器
Selenium自动化程序被检测为爬虫，怎么屏蔽和绕过
weixin_71807218的博客
01-09 1398
这些资料，对于【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴上万个测试工程师们走过最艰难的路程，希望也能帮助到你！
selenium 无头浏览器+规避检测
qq_34272745的博客
09-20 1241
from selenium import webdriver # 导入动作链 from selenium.webdriver import ActionChains from time import sleep from urllib.parse import quote from bs4 import BeautifulSoup from selenium.webdriver.common.keys import Keys # 实现无可视化界面 from selenium.webdriver.chrome
终极攻略！如何彻底防止Selenium被检测！
weixin_62650212的博客
06-15 7780
中，我们知道目前网上的反检测方法几乎都是掩耳盗铃，因为模拟浏览器有几十个特征可以被检测，仅仅隐藏 webdriver 这一个值是没有任何意义的。解决这个问题的关键，就是一个 js 文件，叫做stealth.min.js。这个文件的获取有点复杂，具体可以搜索一下，这里不详细介绍。然后再说明这个解决方案，我是通过什么方式找到的。实际上，在绝大多数情况下，网站轻而易举地能够检测出你正在使用WebDriver而非标准浏览器。我们需要设定，让 Selenium在打开任何页面之前，先运行这个 Js 文件。
Python Selenium WebDriver 如何设置请求头用户代理(User-Agent)参数
Python技术探索
06-08 4594
User-Agent 请求标头包含一个特征字符串，该字符串允许网络协议对等方标识请求软件用户代理的应用程序类型、操作系统、软件供应商或软件版本。它显示在 HTTP 请求标头中，不适用于响应标头。所有浏览器都支持它。简而言之，用户代理是客户端（用户）的身份。Win64;x64;Selenium 没有实现任何直接方法来读取请求或响应标头。
selenium打开网页被检测，怎么屏蔽和绕过
热门推荐
fengzhilanyu的博客
05-13 2万+
Selenium 操作被检测屏蔽 selenium打开浏览器模仿人工操作是诸多爬虫小白最万能的网页数据获取方式，但是在做自动化爬虫时，经常被检测到是selenium驱动。前段时间selenium打开维普高级搜索时得到的页面是空白页。 Selenium为何会被检测 主要原因是selenium打开的浏览器指纹和人工操作打开的浏览器指纹是不同的，比如最熟知的window.navigator.webdriver关键字，在selenium打开的浏览器打印返回结果为true，而正常浏览器打印结果返回为undefine
如何避免Selenium爬虫被网站识破
Z_suger7的博客
05-31 2051
以下是一段使用代理IP的Selenium爬虫示例代码，可以在每次请求时更换一个随机代理IP，这种就是隧道转发模式的代理，需要注意的是，要使用合法、高质量的代理IP服务提供商比如亿牛云代理，以避免安全和质量问题。1、请求头信息：一般情况下Selenium提供的请求头信息与正常的浏览器请求头略有不同，所以需要自定义User-Agent字段让请求头更像正常的浏览器。3、使用代理IP：代理IP可以隐藏你的真实IP地址，但是如果时间较长或请求次数太频繁，代理IP也有被风控的危险，所以尽量使用更多，质量更好的IP池。
Selenium无头模式被检测
Liquor的博客
04-29 1619
防检测 # coding: utf-8 import time import re from bs4 import BeautifulSoup from lxml import etree from selenium import webdriver from selenium.webdriver import ChromeOptions from selenium.webdriver import Chrome from selenium.webdriver.common.by import By fro
Python 以无头浏览器模式使用 selenium 实现网页截屏
05-10
这个程序使用 Chrome 浏览器的无头模式来访问百度首页，并等待3秒钟，最后将屏幕截图保存为 `baidu.png` 文件。 请注意，在使用无头浏览器时，可能需要根据网站特定的设置调整其相关参数，比如 user-agent 和 cookie 等。
python爬虫无头浏览器技术selenium 自动抢piao源代码
11-24
python爬虫无头浏览器技术selenium 自动抢piao，源代码+注释讲解功能点，123某6抢piao，无头浏览器技术，selenium
python selenium 操作浏览器配置
12-21
python selenium 打开关闭浏览器 安装 python -m pip install selenium import time from selenium import webdriver # 打开浏览器 browser = webdriver.Chrome() # Chrome()为Chorm浏览器，Ie()为ie浏览器 # ...
selenium+python配置chrome浏览器的选项的实现
09-17
主要介绍了selenium+python配置chrome浏览器的选项的实现。文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
web自动化系列-selenium的基本方法介绍
雨滴测试博客
04-18 1497
其实做web自动化的框架或工具有很多 ，比如Robot Framework 、Cypress 、TestComplete等。那我们为啥要选择selenium呢？第一 : 主流 ， 它目前是web自动化中最流行的工具 ，流量大意味着需求广 ，当然在应聘或工作中也就会用到的多。第二 ：需求适应性好 ，不同项目的自动化需求是不同 ，有的只是做一些流程用例 、有的还想跑兼容 ，有的想在window上跑 ，同样有的想在Linux下跑。而selenium这些个性化需求都能满足要求。
Selenium一本通
媛媛
04-23 1141
wd.quit()
记录成功配置anaconda后下载selenium包运行项目时遇到的问题
seabirdssss的博客
04-21 182
编写py代码后导入selenium包时出现提示警告Installing packages into 'E:\anaconda3' requires administrator privileges. Confgure a per-project virtual environment as your project interpreter to avoidnstalling packages to a protected area of the file system.
使用Selenium爬取目标网站被识别的解决之法
最新发布
Z_suger7的博客
04-24 1046
Selenium是一个自动化测试工具，最初用于Web应用的功能测试，后来被广泛应用于网络爬虫领域。它支持多种浏览器，包括Chrome、Firefox、Safari等，可以模拟用户在浏览器中的操作，如点击、输入、下拉等，实现对网页的自动化访问和数据提取。
selenium 自动化测试课上实操指南1——百度搜索
caohongxing的博客
04-24 820
1.环境准备下面的所有资源可以从超星班级资料中下载，机房的同学在收到的文件夹中可以找到文件我的是java version "1.8.0_241"，理论上版本高一些是应该没有问题的因为我们使用java编程，所以你的计算机上，机房已经有了可跳过此步骤2）安装eclipse ，机房已经有了可跳过此步骤，自己的计算机可以自行安装3）下载selenium webdriver已经发给大家，大家收到的文件夹中有。
selenium 无头，edge浏览器 模拟扫码登录代码
03-09
以下是使用 Selenium 和 Edge 浏览器模拟扫码登录的 Python 代码示例： ```python from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.action_chains import ActionChains from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # 设置 Edge 浏览器的路径 edge_path = r"C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe" # 设置 EdgeOptions edge_options = webdriver.EdgeOptions() edge_options.use_chromium = True edge_options.add_argument("--headless") edge_options.add_argument("--disable-gpu") edge_options.add_argument("--disable-dev-shm-usage") edge_options.add_argument("--disable-extensions") edge_options.add_argument("--no-sandbox") edge_options.add_argument("--disable-browser-side-navigation") edge_options.add_argument("--disable-infobars") edge_options.add_argument("--disable-popup-blocking") edge_options.add_argument("--disable-default-apps") edge_options.add_argument("--disable-features=site-per-process") edge_options.add_argument("--disable-features=VizDisplayCompositor") edge_options.add_argument("--disable-features=RendererCodeIntegrity") edge_options.add_argument("--disable-features=NetworkServiceInProcess") edge_options.add_argument("--disable-features=NetworkService") # 创建 Edge 浏览器实例 driver = webdriver.Edge(executable_path=edge_path, options=edge_options) # 打开登录页面 driver.get("https://example.com/login") # 等待页面加载完成 wait = WebDriverWait(driver, 10) wait.until(EC.presence_of_element_located((By.ID, "qrcode"))) # 获取二维码元素 qrcode = driver.find_element_by_id("qrcode") # 鼠标悬停在二维码上，等待扫码登录 ActionChains(driver).move_to_element(qrcode).perform() # 等待登录成功 wait.until(EC.presence_of_element_located((By.CLASS_NAME, "success"))) # 获取登录成功后的页面标题 title = driver.title # 关闭浏览器 driver.quit() # 输出页面标题 print(title) ``` 希望能对你有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值