selenium参数的使用

留不住的人

于 2024-03-02 18:15:19 发布

阅读量478

点赞数 11

分类专栏： Python爬虫开发文章标签： selenium 测试工具

本文链接：https://blog.csdn.net/manba_yqq/article/details/136420040

版权

Python爬虫开发专栏收录该内容

41 篇文章 0 订阅

订阅专栏

本文介绍了在Selenium中使用Chrome59版本以上的无头模式，设置代理服务器以及防止网站检测自动化工具的方法，包括使用`--headless`参数、Proxy类和排除自动化标志等技巧。

摘要由CSDN通过智能技术生成

selenium_参数的使用

chrome59版本以后可以变成无头的浏览器，加以下参数

def test_headless():
  # 设置参数，将浏览器隐藏起来(无头浏览器)
  options = ChromeOptions()
  options.add_argument('--headless')
  # 设置驱动
  service = Service('./chromedriver')
  # 启动Chrome浏览器
  driver = Chrome(service=service,options=options)
  # 访问页面
  driver.get('https://www.baidu.com')
  # 打印代码
  print(driver.page_source)
  #  关闭浏览器
  driver.quit()

代理模式

def test_proxy1():
  # 设置参数，给浏览器设置代理
  options = ChromeOptions()
  # options.add_argument('--proxy-server=http://ip:port')
  options.add_argument('--proxy-server=http://221.199.36.122:35414')
  # 设置驱动
  service = Service('./chromedriver')
  # 启动Chrome浏览器
  driver = Chrome(service=service,options=options)
  # 访问页面  "134.195.101.16",
  driver.get('http://httpbin.org/get')
  # 打印代码
  print(driver.page_source)
  #  关闭浏览器
  driver.quit()


def test_proxy2():
  from selenium.webdriver.common.proxy import ProxyType,Proxy
  # 设置参数，给浏览器设置代理
  ip = 'http://113.76.133.238:35680'
  proxy = Proxy()
  proxy.proxy_type = ProxyType.MANUAL
  proxy.http_proxy = ip
  proxy.ssl_proxy = ip
  # 关联浏览器
  capabilities = DesiredCapabilities.CHROME
  proxy.add_to_capabilities(capabilities)


  # 设置驱动
  service = Service('./chromedriver')
  # 启动Chrome浏览器
  driver = Chrome(service=service,desired_capabilities=capabilities)
  # 访问页面  "134.195.101.16",
  driver.get('http://httpbin.org/get')
  # 打印代码
  print(driver.page_source)
  #  关闭浏览器
  driver.quit()

防检测设置

from selenium.webdriver import Chrome
from selenium.webdriver import ChromeOptions


options = ChromeOptions()
options.add_experimental_option('excludeSwitches', ['enable-automation'])
options.add_experimental_option('useAutomationExtension', False)

chrome = Chrome(chrome_options=options)

chrome.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
  "source": """
     Object.defineProperty(navigator, 'webdriver', {
     get: () => false
     })
   """
})


chrome.get('http://httpbin.org/get')
info = chrome.page_source


print(info)
sleep(20)