selenium之反反爬虫

大多数情况下,检测的基本原理是检测当前浏览器窗口下的 window.navigator 对象是否包含 webdriver 这个属性。在正常使用浏览器的情况下,这个属性是 undefined,然后一旦我们使用了 selenium,这个属性就被初始化为 true,很多网站就通过 Javascript 判断这个属性实现简单的反 selenium爬虫。

反反爬虫解决措施:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# 选择 Chrome 浏览器并打开
options = Options()
options.add_argument("--disable-blink-features")
options.add_argument("--disable-blink-features=AutomationControlled")
browser=webdriver.Chrome(options=options)
  • 7
    点赞
  • 39
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
Selenium是一个用于自动化浏览器操作的工具,可以模拟用户在浏览器中的行为。然而,一些网站会采取爬虫的措施,来阻止Selenium的使用。为了应对这些爬虫措施,可以使用一些方法来反反爬虫。 其中一个常见的爬虫手段是检测浏览器的User-Agent头部信息,因为Selenium的默认User-Agent是可被识别的。为了应对这种情况,可以使用Selenium的`ChromeOptions`类来修改User-Agent,通过修改User-Agent来伪装成普通浏览器。在引用的代码示例中,使用了`options.add_argument('--user-agent=Mozilla/5.0 HAHA')`来替换User-Agent头部信息。 此外,还有其他一些常见的爬虫手段,比如基于身份识别、基于爬虫行为和基于数据加密等。如果遇到这些爬虫手段,可以根据具体情况采取相应的应对措施。例如,在基于身份识别进行爬的情况下,可以通过模拟登录来获取合法的访问权限;在基于爬虫行为进行爬的情况下,可以通过调整访问频率或添加随机延时来模拟真实用户的行为;在基于数据加密进行爬的情况下,可以使用Selenium来执行JavaScript代码来解密数据。 综上所述,针对不同的爬虫手段,可以采取相应的应对措施来反反爬虫。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [Python爬虫第二课 Selenium介绍和爬技术](https://blog.csdn.net/fegus/article/details/124447201)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值