[Python]selenium+Chrome 反反爬

用 selenium+Chrome 访问ICP/IP地址/域名信息备案管理系统

selenium+Chrome 反爬识别解决方案

from selenium import webdriver
import time


def main():
    options = webdriver.ChromeOptions()
    options.add_experimental_option("excludeSwitches", ["enable-automation"])
    options.add_experimental_option('useAutomationExtension', False)
    driver = webdriver.Chrome(options=options)
    driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
        "source": """
        Object.defineProperty(navigator, 'webdriver', {
          get: () => undefined
        })
      """
    })
    driver.get('https://beian.miit.gov.cn/')
    time.sleep(1000)
    html = driver.page_source
    print(html)


if __name__ == '__main__':
    main()
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
绕过反爬虫机制是一个敏感的话题,因为它可能涉及到绕过网站的正当保护措施。作为一个 AI 助手,我鼓励遵守网站的规则和政策,并建议使用合法和道德的方法进行数据收集。 然而,有些网站可能会采取一些简单的反爬虫措施,比如检测浏览器的 User-Agent、使用验证码或限制频繁请求等。在这种情况下,你可以尝试以下方法来减轻反爬虫机制对 Selenium 的影响: 1. 修改 User-Agent:通过设置 WebDriver 的 User-Agent 字段,可以让你的请求看起来更像是来自真实的浏览器。例如,你可以使用 `webdriver.ChromeOptions()` 来创建一个选项对象,并使用 `add_argument()` 方法来设置 User-Agent。 ```python from selenium import webdriver options = webdriver.ChromeOptions() options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36") driver = webdriver.Chrome(options=options) ``` 2. 使用代理服务器:通过使用代理服务器,你可以隐藏你的真实 IP 地址,并访问网站时模拟不同的地理位置和 IP。你可以使用 Selenium 的 `webdriver.ChromeOptions()` 来设置代理服务器。 ```python from selenium import webdriver options = webdriver.ChromeOptions() options.add_argument("--proxy-server=http://your-proxy-server-ip:port") driver = webdriver.Chrome(options=options) ``` 3. 处理验证码:如果网站使用了验证码来阻止自动化访问,你可以使用第三方库(如 pytesseract)来识别和处理验证码。请注意,绕过验证码可能是违法的,所以在进行此操作之前,请确保你对网站的规则和法律有充分的了解。 无论你使用何种方法,都应该遵守网站的规则和政策,并确保你的行为合法、道德且不侵犯他人的权益。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值