undetected_chromedriver使用例子,爬虫防检测人机检测

import undetected_chromedriver as uc
import multiprocessing
import os
from selenium.webdriver.common.by import By



if __name__ == '__main__' :
    
    def saveScreen(name, driver):
        # 获取当前目录路径
        current_dir = os.path.dirname(os.path.abspath(__file__))
        # 要创建的文件夹名称
        folder_name = "saveImg"
        # 拼接文件夹路径
        folder_path = os.path.join(current_dir, folder_name)
        # 创建文件夹
        if not os.path.exists(folder_path):
            os.mkdir(folder_path)
            print(f"文件夹 {folder_name} 已创建在 {folder_path}")
        else:
            print(f"文件夹 {folder_name} 已存在")
        img_path = folder_path + "\\" + name + ".png"
        driver.save_screenshot(img_path)
    multiprocessing.freeze_support()
    chrome_options = uc.ChromeOptions()
    driver = uc.Chrome(headless=True,use_subprocess=False,options=chrome_options)
    driver.get("https://www.baidu.com")
    div_element = driver.find_element("css selector", "ul.s-hotsearch-content")
    test =driver.find_elements(By.CLASS_NAME,"c-font-normal")
    for item in test:
        print(item.text)
    # 获取div元素的文本内容
    div_text = div_element.text
    print("Div文本内容:", div_text)
    saveScreen("测试",driver)
    print("success")
    window_size = driver.get_window_size()
    driver.save_screenshot("test.png")
    # 输出窗口大小
    print("窗口宽度:", window_size["width"])
    print("窗口高度:", window_size["height"])

在使用selenium做自动化的时候,准备隐藏浏览器,但是会出现被网站检测到要进行人机检测,比较麻烦,就上网找了找有没有解决办法,发现可以使用这一个undetected_chromedriver来防检测,还蛮好用。同时这里面有一些坑在,比如需要加入下面两个才不会报错

if __name__ == '__main__' :
 multiprocessing.freeze_support()  #注意这是一个坑

还有会报一个错误

"***/site-packages undetected chromedriver patcher.py"
ine 119,in auto
if self.user multiprocs:AttributeError: 'Patcher' object has no attribute 'user multiprocs

需要修改一下Patcher.py这个文件

可以看到119行报错,定位一下。

原先是,全文并没有这个变量,看了一下发现是变量名字出了问题

if self.user_multiprocs:

 最后修改成下面这个,就不会有问题了

if self.user_multi_procs:

官网网址:GitHub - ultrafunkamsterdam/undetect-chromedriver: Custom Selenium Chromedriver |零配置 |通过所有机器人缓解系统(如Distil / Imperva/Datadadome / CloudFlare IUAM)

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值