Selenium的简单防反爬和浏览器配置_Edge

# Selenium的简单使用:https://zhuanlan.zhihu.com/p/557463669
# 防反爬参考:https://blog.csdn.net/weixin_51368459/article/details/125462178
from selenium import webdriver
from selenium.webdriver.edge.options import Options
from selenium.webdriver.edge.service import Service


# 设置浏览器驱动位置
service = Service(executable_path='./msedgedriver.exe')  

# 自定义浏览器选项(常规的防反爬配置)
edge_options = Options()
 # 1. 开启开发者模式
edge_options.add_experimental_option('excludeSwitches', ['enable-automation'])
 # 2. 禁用启用Blink运行时的功能
edge_options.add_argument('--disable-blink-features=AutomationControlled')
# 设置保持浏览器不自动关闭
edge_options.add_experimental_option("detach", True)


# 启动浏览器
driver = webdriver.Edge(service=service, options=edge_options)

# 访问该网站,检测是否防反爬成功
url = "https://intoli.com/blog/not-possible-to-block-chrome-headless/chrome-headless-test.html"
driver.get(url)

-网站可以简单的检测是否成功防止一些基础的反爬,如浏览器驱动是否被检测到启用等,以下出现绿色就说明下面这些防反爬项都是成功的。
在这里插入图片描述

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Selenium是一个常用的自动化测试工具,可以模拟人类操作浏览器,包括修改浏览器指纹。下面是使用Selenium修改浏览器指纹的一般步骤: 1. 安装Selenium库:使用pip命令安装Selenium库,例如`pip install selenium`。 2. 下载浏览器驱动:根据你使用的浏览器,下载对应的浏览器驱动。Selenium需要根据浏览器驱动来控制浏览器。常见的浏览器驱动如Chrome驱动(chromedriver)、Firefox驱动(geckodriver)等。 3. 配置浏览器驱动路径:将下载的浏览器驱动放在合适的位置,并将其路径配置到系统环境变量中,或者在代码中指定驱动路径。 4. 创建浏览器实例:使用Selenium创建一个浏览器实例,例如使用Chrome浏览器: ```python from selenium import webdriver # 指定Chrome驱动路径 driver = webdriver.Chrome(executable_path='path/to/chromedriver') ``` 5. 修改浏览器指纹:通过修改浏览器的User-Agent来修改浏览器指纹。以下是一个示例代码: ```python from selenium import webdriver from selenium.webdriver.chrome.options import Options # 创建Chrome选项对象 options = Options() # 设置User-Agent options.add_argument('--user-agent="Your User Agent"') # 创建Chrome浏览器实例 driver = webdriver.Chrome(executable_path='path/to/chromedriver', options=options) ``` 在`--user-agent`后面填写你想要设置的User-Agent。 6. 执行自动化操作:使用Selenium的相关方法,如`get()`访问网页,`find_element()`定位元素等,执行你需要的自动化操作。 需要注意的是,使用Selenium修改浏览器指纹可能会触发一些网站的反爬虫机制,因为Selenium模拟的是真实浏览器行为。在使用时,应遵守网站的规则,并进行合法合规的爬取。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值