python+selenium+ Chrome 运行中更换userAgent


通常情况下用selenium开发爬虫时,会使用以下方式添加UA

chrome_options.add_argument('user-agent=' + self.ua)

但是每次更换需要重启浏览器,这会造成资源浪费。好在selenium支持CDP,于是翻了文档终于找到了解决方法。解决方法如下:

driver.execute_cdp_cmd("Emulation.setUserAgentOverride", {
        "userAgent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0"
    })

执行后打开控制台,输入navigator.userAgent查看,会发现userAgent已经改变,访问任何页面都会是目前设置的这个userAgent

在这里插入图片描述


同时官方文档中还有以下参数可以使用:

{
                    "name": "setUserAgentOverride",
                    "description": "Allows overriding user agent with the given string.",
                    "redirect": "Emulation",
                    "parameters": [
                        {
                            "name": "userAgent",
                            "description": "User agent to use.",
                            "type": "string"
                        },
                        {
                            "name": "acceptLanguage",
                            "description": "Browser langugage to emulate.",
                            "optional": true,
                            "type": "string"
                        },
                        {
                            "name": "platform",
                            "description": "The platform navigator.platform should return.",
                            "optional": true,
                            "type": "string"
                        },
                        {
                            "name": "userAgentMetadata",
                            "description": "To be sent in Sec-CH-UA-* headers and returned in navigator.userAgentData",
                            "experimental": true,
                            "optional": true,
                            "$ref": "Emulation.UserAgentMetadata"
                        }
                    ]
                }
  • 4
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Python,你可以使用以下方法来移除Selenium特征: 1. 更改User-Agent:Selenium默认使用一个特定的User-Agent,你可以通过设置不同的User-Agent来隐藏Selenium的特征。你可以使用Python库如`fake_useragent`或者直接在代码设置User-Agent。例如: ```python from selenium import webdriver from selenium.webdriver.chrome.options import Options options = Options() options.add_argument("--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36") driver = webdriver.Chrome(options=options) ``` 2. 隐藏浏览器窗口:默认情况下,Selenium会打开一个可见的浏览器窗口。如果你不需要可见的窗口,可以使用无头浏览器模式来隐藏窗口。例如,在Chrome启用无头模式: ```python from selenium import webdriver from selenium.webdriver.chrome.options import Options options = Options() options.add_argument("--headless") # 启用无头模式 driver = webdriver.Chrome(options=options) ``` 3. 使用代理服务器:通过使用代理服务器,你可以隐藏真实的IP地址和其他特征。你可以使用Python库如`selenium-wire`来配置代理服务器。例如: ```python from seleniumwire import webdriver from selenium.webdriver.chrome.options import Options options = Options() # 设置代理服务器 proxy_options = { 'proxy': { 'http': 'http://yourproxyserver:port', 'https': 'https://yourproxyserver:port', 'no_proxy': 'localhost,127.0.0.1' # 排除代理的地址 } } driver = webdriver.Chrome(options=options, seleniumwire_options=proxy_options) ``` 这些方法可以帮助你在Python移除Selenium的特征,使你的爬虫更隐匿。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值