selenium爬虫如何绕过反爬，看这一篇文章就足够了

最新推荐文章于 2024-05-22 19:43:17 发布
最新推荐文章于 2024-05-22 19:43:17 发布
阅读量3.7k 收藏 8
点赞数 1
分类专栏： 付费文章 文章标签： selenium 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_35770067/article/details/126905611
版权
付费文章 专栏收录该内容
34 篇文章 460 订阅 ¥299.90 ¥99.00
订阅专栏

文章目录

关闭/开启WebRTC
背景

经常有使用selenium的同学在访问网页的过程中发现，程序跑着跑着就被服务器给ban了。

当然对于一般情况下，咱们加个代理继续跑，没毛病。

然后跑着跑着又被封了。

纳尼？开始灵魂发问：

  • 是浏览器里关于webdriver的痕迹没有清除？
  • 是因为canvas指纹识别真实用户？
  • 还是时区和地理位置不一致？
  • 其他等等…

今天我们来说另外一种可能，就是其实你加上了代理也等于白加了 因为网页使用了一种叫WebRTC的技术识别出了你本地电脑真实IP

什么是WebRTC

参考维基百科解释webrtc：

WebRTC，名称源自网页即时通信（英语：Web Real-Time Communication）的缩写，是一个支持网页浏览器进行实时语音对话或视频对话的API。它于2011年6月1日开源并在Google、Mozilla、Opera支持下被纳入万维网联盟的W3C推荐标准[2][3][4]。

我翻译一下：

  • 说人话就是说浏览器内置了一些API接口，这些API可以用来方便一些网站进行实时通信类的功能开发，比如语音、视频等流媒体网站
  • 既然是浏览器接口，网站前端js代码可以直接调用这些浏览器接口，具体js接口大家可以去搜索
  • 使用webrtc技术的网站js调用浏览器接口是绕过浏览器代理直接与webrtc服务器建立tcp或者udp
了解本专栏 订阅专栏 解锁全文
安替-AnTi
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Selenium之爬虫与反爬
wpfeitian的博客
05-31 1280
最近遇到一个需求------爬取携程网站中的酒店详情。 具体如下截图： 凡是有过想爬取携程酒店信息的同学，估计都时被携程的反爬技术所困扰。参数OCEANBALL，ELEVEN的加密解密，就够大家琢磨十天半个月了，在碰上个没有JS基础的同学，基本就可以直接放弃了。最关键的是，携程的加密方法，每隔一段时间就会改变，所以即便碰见了爬虫高手，也需要不断的耗费时间对抗携程的反爬，根本无法应用在实际生产中。所以直接通过解密参数直接通过api连接的方式，应该可以放弃了。如果仅当学习，那么可以深度研究下携程的反爬。
Selenium-webdriver绕开反爬虫机制的4种方法
三千越甲可吞吴
06-26 1万+
       之前爬美团外卖后台的时候出现的问题，各种方式拖动验证码都无法成功，包括直接控制拉动，模拟人工轨迹的随机拖动都失败了，最后发现只要用chrome driver打开页面，哪怕手动登录也不可以，猜测driver肯定是直接被识别出来了。一开始尝试了改user agent等方式，仍然不行，由于其他项目就搁置了。今天爬淘宝生意...
对于用selenium直接开启网页被反爬的解决方式
最新发布
囦不在地球的博客
05-22 707
通过selenium启动文件但是被反爬或无法启动某些页面。
python爬图一篇过（三）【超·详细】：selenium库：防反爬（含cookies）+翻页下拉+pycharm运行
qq_53021454的博客
10-14 2978
那么今天，也就是在这个selenium系列的终章，我们就来说说如何在pycharm环境下运行你的爬虫程序，以及在此基础上在加以一点润色，离按下shift+F10就能轻轻松松自动爬到大量图片的目标就不远了！！ 现在你就可以把代码复制进入新开页面了！ 接下来开始小准备
Python爬虫之数据提取-selenium的其它使用方法
不一样的花朵的博客
09-12 730
selenium的其它使用方法 知识点： 掌握 selenium控制标签页的切换 掌握 selenium控制iframe的切换 掌握 利用selenium获取cookie的方法 掌握 手动实现页面等待 掌握 selenium控制浏览器执行js代码的方法 掌握 selenium开启无界面模式 了解 selenium使用代理ip 了解 selenium替换user-agent 1. selenium标签页的切换 当selenium控制浏览器打开多个标签页时，如何控制浏览器在不同的标签页中进行切换呢？需要
selenium进入开发者模式参数，防止反爬
萧鼎的博客
06-22 458
import selenium from selenium.webdriver.common.by import By import time from selenium import webdriver # 反爬 from selenium.webdriver.chrome.options import Options chrome_options = Options() # 增加无头 chrome_options.add_argument('--headless') chrome_options.add
python selenium防反爬
右手开外的博客
12-01 1268
python selenium 防止被检测
学习python爬虫看一篇就足够了之爬取《太平洋汽车》论坛及点评实战爬虫大全
12-22
前言： 这也是一篇毕业论文的数据爬虫，我第一次看见《太平洋汽车》的点评信息时，检查它的网页元素，发现并没有像《汽车之家》那样的字体反爬技术，所有就初步判断它没有很强的反爬虫技术，大不了就使用selenium库...
推荐一篇全网最全的爬虫及应对解决方案.docx
10-26
为应对这一策略，爬虫开发者可以自定义User-Agent，甚至从已知的User-Agent列表中随机选择一个。例如，Python的`requests`库允许我们方便地设置请求头，包括User-Agent。另外，开源库如`fake-useragent`提供了伪造...
python爬虫之验证码篇3-滑动验证码识别技术
09-19
Python爬虫在面对验证码识别时，经常会遇到一种特殊类型的验证码——滑动验证码。与复杂的图像验证码相比，滑动验证码相对简单，用户只需将滑块拖动到指定位置即可完成验证。这种验证码通常用于提高网站安全性，防止...
python网络爬虫之如何伪装逃过反爬虫程序的方法
09-21
本篇文章将详细探讨如何使用Python伪装爬虫，以便绕过一些基本的反爬虫机制。 首先，我们需要理解为什么会出现"Http 800 Internal internet error"这样的错误。这通常是由于目标网站检测到非人类的请求，例如来自...
一个简易的Java多页面队列爬虫程序
09-01
Java爬虫是一种用于自动抓取互联网网页内容的程序，本篇文章将深入探讨如何构建一个简单的多页面队列爬虫。队列爬虫通常采用宽度优先搜索策略，避免重复爬取已访问的URL，有效管理爬取的顺序和范围。 ### 一、所需...
反反爬虫(0) ：还在用 selenium 裸爬吗? 你已经被盯上了！破解WebDriver反爬虫
热门推荐
zzzzls 的博客
11-29 2万+
使用 Selenium 调用 ChromeSriver 来打开网页，还是与正常打开网页有一定的区别的。现在很多网站都加上了对 Selenium 的检测，来防止一些爬虫的恶意爬取。 大多数情况下，检测的基本原理是检测当前浏览器窗口下的 `window.navigator` 对象是否包含 `webdriver` 这个属性。
浏览器模拟之python+selenium+mitmproxy
GLOBE TREKKER
07-14 2832
做爬虫最大的困扰就是对方的反爬措施，最好不要强攻，能绕过就绕过，毕竟上网需要科学 selenium 指纹被做了记号如何破？这个时候说明对方已经检测了你的行为特征，这是一个比较严肃的问题，尤其是在破解滑动验证码的时候 大厂的技术团队还是给了我们一个更难解决的问题，就是通过js 给 webdriver 请求响应错误信息，所以我们要做的是把这些影响科学上网的 js 代码给废掉 这里的方法是通过...
爬虫进阶路程3——绕开selenium反爬
qq_30095631的博客
12-15 1240
    在《爬虫进阶路程1——开篇》中说道过，自己本以为使用了selenium就万事大吉了，结果发现使用selenium之后还是死了的，似乎别人的代码能够识别出自己使用了selenium，查资料下来确实如此，反爬手段其实也简单，就是去获取你当前浏览器的一些基本信息，如果包含了selenium打开浏览器的一些特征，就认为你是selenium，而不是正常的浏览器。知道他反爬的原理，其实就知道怎么解决了，无非两种： 在他进行特征判断之前进行篡改，如果你是客户端判断，就要修改源代码，如果是服务端判断，就要修改请求
Selenium 最强反反爬方案来了！
涛哥聊Python
04-21 1万+
之前我们提到目前网上的反检测方法几乎都是掩耳盗铃，因为模拟浏览器有几十个特征可以被检测，仅仅隐藏 webdriver 这一个值是没有任何意义的。如果你在国内，那么执行这个命令的过程中，会有一个下载 Chromium 的过程，速度非常慢，虽然只有130MB，但是可能会下载好几个小时。所以，如果你使用的是 puppeteer，那么你可以根据它的 Readme说明，直接使用。如果你使用的是 Pyppeteer，那么可以根据我上面文章中给出的方法，试着加载一下这个 js 文件，看看是不是也能成功隐藏特征。
selenium反爬
ljf520lhy的博客
05-03 8201
使用selenium也会被网站反爬，有的网站甚至检测到是selenium时就会封禁ip，所以今天分享一下selenium的反爬。大多数网站识别selenium的方法是通过window.navigator.webdriver,它的作用是在用户打开浏览器时给当前窗口一个window属性来存放用户的各种信息，当我们使用selenium时值为true，正常用户访问网站时为false 所以要实现selenium的反爬就要去除window.navigator.webdriver，代码如下 fro.
selenium绕过爬虫检测（方式一）
zhangpz19871210的专栏
05-11 518
通过popen直接运行chrome执行文件，通过参数--remote-debugging-port打开调试端口，selenium通过上面打开的调试端口链接到chrome。
Python反反爬篇--selenium被检测到的解决办法
白帽阿叁的博客
11-10 5372
有时候，我们利用 Selenium 自动化爬取某些网站时，极有可能会遭遇反爬。 实际上，我们使用默认的方式初始化 WebDriver 打开一个网站，下面这段 JS 代码永远为 true，而手动打开目标网站的话，则为：undefined
python selenium绕过反爬
08-16
绕过反爬虫机制是一个敏感的话题，因为它可能涉及到绕过网站的正当保护措施。作为一个 AI 助手，我鼓励遵守网站的规则和政策，并建议使用合法和道德的方法进行数据收集。 然而，有些网站可能会采取一些简单的反爬虫措施，比如检测浏览器的 User-Agent、使用验证码或限制频繁请求等。在这种情况下，你可以尝试以下方法来减轻反爬虫机制对 Selenium 的影响： 1. 修改 User-Agent：通过设置 WebDriver 的 User-Agent 字段，可以让你的请求看起来更像是来自真实的浏览器。例如，你可以使用 `webdriver.ChromeOptions()` 来创建一个选项对象，并使用 `add_argument()` 方法来设置 User-Agent。 ```python from selenium import webdriver options = webdriver.ChromeOptions() options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36") driver = webdriver.Chrome(options=options) ``` 2. 使用代理服务器：通过使用代理服务器，你可以隐藏你的真实 IP 地址，并访问网站时模拟不同的地理位置和 IP。你可以使用 Selenium 的 `webdriver.ChromeOptions()` 来设置代理服务器。 ```python from selenium import webdriver options = webdriver.ChromeOptions() options.add_argument("--proxy-server=http://your-proxy-server-ip:port") driver = webdriver.Chrome(options=options) ``` 3. 处理验证码：如果网站使用了验证码来阻止自动化访问，你可以使用第三方库（如 pytesseract）来识别和处理验证码。请注意，绕过验证码可能是违法的，所以在进行此操作之前，请确保你对网站的规则和法律有充分的了解。 无论你使用何种方法，都应该遵守网站的规则和政策，并确保你的行为合法、道德且不侵犯他人的权益。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

安替-AnTi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值