selenium防爬无头浏览器和模拟手机浏览器

置顶笑大爷

已于 2023-09-16 19:28:52 修改

阅读量8.5k

点赞数 4

分类专栏：爬虫文章标签： selenium 测试工具

于 2022-03-10 15:00:51 首次发布

本文链接：https://blog.csdn.net/qq_44645338/article/details/123397996

版权

爬虫专栏收录该内容

4 篇文章 1 订阅

订阅专栏

在edge浏览器中使用webdriver时控制台中window.navigator.webdriver 元素会显示True，正常情况下来说应该是关掉的，所以我们用js来屏蔽掉这个元素

from selenium import webdriver
from selenium.webdriver.edge.options import Options

opt = Options()

# 去掉浏览器爬虫标识
opt.add_experimental_option('excludeSwitches', ['enable-automation'])

# 模拟iphone X浏览器，用不到可忽略
opt.add_experimental_option('mobileEmulation', {'deviceName': 'iPhone X'})
# 以下两行是无头浏览器
opt.add_argument("--headless")
opt.add_argument("--disable-gpu")
driver = webdriver.Edge(options=opt)
# 将浏览器窗口最大化
driver.maximize_window()
driver.get('http://www.xxx.com.cn')
js = '''Object.defineProperty(navigator, 'webdriver', {
             get: () => undefined
           })'''
driver.execute_script(js)