selenium配置简单反反爬

已于 2024-04-16 19:34:29 修改
阅读量523 收藏 1
点赞数 4
文章标签： selenium 测试工具
于 2024-04-16 18:39:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_56454634/article/details/137835492
版权

navigator.webdriver


前端基础的反爬是使用navigator.webdriver参数，在使用webdriver情况下返回为true，正常浏览情况为false，
有些网站会利用这点进行简单的反爬

 webdriver配置 


   当然，webdriver也可以进行配置，可以使navigator.webdriver为false，绕过一部分网站的反爬监测


   
在以前，通过这种方式可以进行配置（python）

        chrome_options.add_experimental_option(
            "excludeSwitches", ["enable-automation"]
        )


        
但是在我某次更新后（可能是chrome123之后），就不生效了，后来查询了大量的文档，搜索，问GPT等等
最后终于功夫不负有心人，找到了解决方法

新版chrome（不确定，感觉123版本之后，也可能更早）使用以下方式配置
   

     chrome_options.add_argument(
            "--disable-blink-features=AutomationControlled"
        )

因为刚刚更新，目前在网上找不到相关信息，自己发现了，就分享一下

全能浩
关注
爬虫入门（7）——反爬（3）Selenium
WHJ226的博客
06-03 1734
爬虫入门（6）——反爬（2）_WHJ226的博客-CSDN博客在该博客中讲了动态渲染，Selenium安装，驱动器下载及配置，以及为什么复制得到的XPath后会获取到空的列表，并小试了一下Selenium自动打开百度浏览器。下面让我们一步一步了解Selenium的操作及用途。Selenium提供了8种元素定位方式，通过这些定位方式可以定位指定元素、提取数据或给指定的元素绑定事件设置样式等。表中是最新的定位方法，之前大都是这样写的（在PyCharm2022.1.1版中已经不在使用以下方式）： 我们可以看
Selenium 系列篇（六）：反反爬篇
Python自动化社区的博客
03-08 6728
点击上方“Python自动化社区”，选择“加为星标”第一时间关注 Python 自动化技术干货！系列导读01. Selenium 系列篇（一）：准备篇02. Selenium 系列篇（二...
Python selenium爬虫被检测到，该怎么破？
最新发布
分享Python、数据分析、人工智能前沿知识
08-21 2324
当使用Selenium进行网络爬虫操作时，经常会被目标网站检测到并采取了反爬措施，有几种方法可以尝试规避。大家都知道领英是反爬做的比较好的网站，设置很多反爬措施，对IP进行限制封禁，因此会用到IP代理，用不同的IP进行访问，我这里用的是亮数据的IP代理。亮数据是一家提供网络数据采集解决方案的网站，它拥有全球最大的代理IP网络，覆盖超过195个国家和地区，拥有超过7200万个不重复的真人IP地址。这些IP地址可以用于匿名浏览网页、绕过IP封锁、抓取网页数据等。
Selenium的使用
指针先生
01-12 1637
Selenium 是一个自动化测试工具，它主要用于自动化网络应用程序的测试。不过，除了测试之外，它也常用于自动执行各种浏览器操作，比如自动填写表单、抓取网页数据、点击、下拉等。同时还可以获取浏览器当前所呈现的页面的源代码，做到可见即可爬，对于一些JavaScript动态渲染的页面来说，非常有效。
爬虫：记一次失败的尝试
Tereams的博客
05-10 1397
近日有一个小练习，要从XXX网上爬取特定的查询结果（仅是练习爬虫，没有任何其他用意~~）。兴冲冲的就拿来selenium开始上手。不料出师不利，屡遭挫折，历经了很长一段时间的suffer后，最终也是功亏一篑。 这时才知道，这个网站有过被爬虫师傅爬崩掉的一段不堪回首的往事，已经做了很高级的反爬。到底高不高级不清楚，但对我这个小白来说也是一座不是那么容易翻过的高山了。 但回首自己的尝试，又感到有点神奇。故记录一下自己的经历，以供未来参考。欢迎大佬指点迷津...
Selenium 最强反反爬方案来了！
热门推荐
涛哥聊Python
04-21 1万+
之前我们提到目前网上的反检测方法几乎都是掩耳盗铃，因为模拟浏览器有几十个特征可以被检测，仅仅隐藏 webdriver 这一个值是没有任何意义的。如果你在国内，那么执行这个命令的过程中，会有一个下载 Chromium 的过程，速度非常慢，虽然只有130MB，但是可能会下载好几个小时。所以，如果你使用的是 puppeteer，那么你可以根据它的 Readme说明，直接使用。如果你使用的是 Pyppeteer，那么可以根据我上面文章中给出的方法，试着加载一下这个 js 文件，看看是不是也能成功隐藏特征。
Selenium反反爬
riwanba的博客
07-19 2935
实际上，我们使用默认的方式初始化 WebDriver 打开一个网站，下面这段 JS 代码永远为 true，而手动打开目标网站的话，则为：undefined。# 通过这段 JS 脚本区分是爬虫还是人工操作 window.navigator.webdriver。window.navigator.webdriver 的值为 undefined 即可。有时候，我们利用 Selenium 自动化爬取某些网站时，极有可能会遭遇反爬。cdp 全称是：Chrome Devtools-Protocol。
selenium反爬
ljf520lhy的博客
05-03 8354
使用selenium也会被网站反爬，有的网站甚至检测到是selenium时就会封禁ip，所以今天分享一下selenium的反爬。大多数网站识别selenium的方法是通过window.navigator.webdriver,它的作用是在用户打开浏览器时给当前窗口一个window属性来存放用户的各种信息，当我们使用selenium时值为true，正常用户访问网站时为false 所以要实现selenium的反爬就要去除window.navigator.webdriver，代码如下 fro.
爬虫入门基础-Selenium反爬(taobao)
qq_39581763的博客
05-13 4081
1、淘宝反爬 淘宝的反爬机制是非常完善的，在用selenium登陆淘宝的时候发现淘宝能检测到并弹出滑块，然后无论怎么滑动都通过不了，在经过一番搜索后发现很多网站对selenium都有检测机制，如检测是否存在特有标识 $cdc_asdjflasutopfhvcZLmcfl 、navigator.webdriver等。根据这条线索，可以在淘宝的js里找到了相关的检测代码： 在控制台下输入window.navigator.webdriver会发现和正常的浏览器打开的有所不同 2、修改selenium 如果浏览器.
爬虫之反爬防御selenium.zip
12-25
爬虫之反爬防御selenium.zip selenium这个爬虫利器,想必大家都用过.那作为网站一方如何反爬防御它呢?
python遇到天猫反爬虫_selenium 淘宝登入反爬虫解决方案（亲测有效）
weixin_39743722的博客
12-06 2549
前言目前在对淘宝进行数据爬取的时候都会碰到，登入时的滑块问题，无论是手动还是脚本都不成功。这里的很重要一个原因是很多的网站都对selenium做了反爬虫机制。接下来是笔者参考网上的网友们的方法亲自测试的一个方法，希望可以帮助到大家。注意这里使用的浏览器是Chrome。所以使用的驱动也是chromedriver一，淘宝反扒js在淘宝登入页面加载的js中，可以看到怎么一行代码，如下图：上图的这一行代码...
一、（2）selenium爬取超链接后，反爬取超链接里的内容。
python
05-05 4058
一、（2）selenium爬取超链接后，反爬取超链接里的内容。 本文利用一（1）中爬取的超链接，对超链接里的每条新闻进行爬取，方法很简单。 完整代码如下： # coding=utf-8 import urllib import time import re import os import shutil import sys import codecs from selenium import ...
【Python网络爬虫秘技】：利用requests库打造高效爬虫和反反爬策略
[【Python网络爬虫秘技】：利用requests库打造高效爬虫和反反爬策略](https://media.proglib.io/wp-uploads/2018/02/PythonParsing.jpg) # 1. Python网络爬虫简介与基础 ## 简介 网络爬虫，又称为网络蜘蛛或网络...
python高级—— 从趟过的坑中聊聊爬虫、反爬、反反爬，附送一套高级爬虫试题
09-30 6769
前言： 时隔数月，我终于又更新博客了，然而，在这期间的粉丝数也就跟着我停更博客而涨停了，唉 是的，我改了博客名，不知道为什么要改，就感觉现在这个名字看起来要洋气一点。 那么最近到底咋不更新博客了呢？说起原因那就多了，最主要的还是没时间了，是真的没时间，前面的那些系列博客都还没填坑完毕的（后续都会填上的） 最近有点空余就一直在开发我的项目，最近做了两个项目： IPproxy，看名字就知道啦...
selenium之反反爬虫
qq_36973540的博客
08-04 4307
大多数情况下，检测的基本原理是检测当前浏览器窗口下的 window.navigator 对象是否包含 webdriver 这个属性。在正常使用浏览器的情况下，这个属性是 undefined，然后一旦我们使用了 selenium，这个属性就被初始化为 true，很多网站就通过 Javascript 判断这个属性实现简单的反 selenium爬虫。 反反爬虫解决措施： from selenium import webdriver from selenium.webdriver.chrome.options im
【测试】selenium反爬操作
冰冷的希望的博客
12-16 2030
1.Selenium特征说明 如果我们在正常情况下人为打开浏览器，打开控制台输入window.navigator.webdriver，看到的值是false，但是如果使用selenium控制浏览器，会发现该值变成true或undefined，那网站就可以使用这个值去判断当前是否selenium爬虫。除了这个特征好像还有其他特征，感兴趣的话可以搜一下相关资料 2.反反爬 2.1 excludeSwitches 注意，该方法适合旧版本chrome，chrome79之前的 from selenium.webdriv
爬虫学习--18.反爬斗争 selenium（3）
weixin_66370632的博客
05-31 1720
操作多窗口与页面切换 有时候窗口中有很多子tab页面。这时候肯定是需要进行切换的。selenium提供了一个叫做switch_to.window来进行切换，具体切换到哪个页面，可以从driver.window_handles中找到。
selenium反爬虫设置（简单）
weixin_40704175的博客
08-31 1516
最近学了selenium反爬虫设置较初级的用法，为了不被忘记，决定记录下来： from selenium import webdriver options = webdriver.ChromeOptions() # 设置为开发者模式，防止被各大网站识别出来使用了Selenium # 屏蔽 windows.navigator.webdriver** options.add_experimental_option(‘excludeSwitches’, [‘enable-automation’]) # # 不加载
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值