爬虫与反爬虫大战

最新推荐文章于 2024-03-06 11:14:36 发布
最新推荐文章于 2024-03-06 11:14:36 发布
阅读量458 收藏 1
点赞数

爬虫与发爬虫的厮杀，一方为了拿到数据，一方为了防止爬虫拿到数据，谁是最后的赢家？

重新理解爬虫中的一些概念

爬虫:自动获取网站数据的程序
反爬虫：使用技术手段防止爬虫程序爬取数据
误伤：反爬虫技术将普通用户识别为爬虫，这种情况多出现在封ip中，例如学校网络、小区网络再或者网络网络都是共享一个公共ip，这个时候如果是封ip就会导致很多正常访问的用户也无法获取到数据。所以相对来说封ip的策略不是特别好，通常都是禁止某ip一段时间访问。
成本：反爬虫也是需要人力和机器成本
拦截：成功拦截爬虫，一般拦截率越高，误伤率也就越高

反爬虫的目的

初学者写的爬虫：简单粗暴，不管对端服务器的压力，甚至会把网站爬挂掉了

数据保护：很多的数据对某些公司网站来说是比较重要的不希望被别人爬取

商业竞争问题：这里举个例子是关于京东和天猫，假如京东内部通过程序爬取天猫所有的商品信息，从而做对应策略这样对天猫来说就造成了非常大的竞争

爬虫与反爬虫大战

上有政策下有对策，下面整理了常见的爬虫大战策略

 

I天辉I
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python网络爬虫进阶教程.pdf
08-06
初级教程看：https://download.csdn.net/download/dwf1354046363/20818468 9 网络爬虫进阶之 Selenium 篇 9.1 Selenium 简介 . . . . . . . . 9.1.1 Selenium 是什么 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 9.1.2 Selenium 特点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 9.1.3 基本安装与使用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 9.1.4 各种浏览器驱动下载地址 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 9.1.5 Selenium 初试 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 9.2 定位元素 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 9.2.1 基本的定位方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 9.2.2 使用 By 定位 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 9.2.3 定位一组元素 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 9.3 控制浏览器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 9.3.1 控制浏览器窗口大小 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 9.3.2 控制浏览器后退、前进 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 9.3.3 模拟浏览器刷新 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 9.4 WebDriver 中的常用方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 9.5 设置元素等待 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 9.5.1 显式等待 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 9.5.2 隐式等待 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118 9.6 多表单切换 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 9.7 多窗口切换 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 9.8 其他操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
python网络爬虫开发从入门到精通pdf-Python 3网络爬虫开发实战PDF高清完整版下载...
weixin_37988176的博客
11-01 277
提取码：9lq0目录······第1章　开发环境配置　　11.1　Python 3的安装　　11.1.1　Windows下的安装　　11.1.2　Linux下的安装　　61.1.3　Mac下的安装　　81.2　请求库的安装　　101.2.1　requests的安装　　101.2.2　Selenium的安装　　111.2.3　ChromeDriver的安装　　121.2.4　Gecko...
Python爬虫从入门到放弃（二十二）之 爬虫与反爬虫大战
weixin_34410662的博客
08-09 1164
爬虫与发爬虫的厮杀，一方为了拿到数据，一方为了防止爬虫拿到数据，谁是最后的赢家？ 重新理解爬虫中的一些概念 爬虫:自动获取网站数据的程序反爬虫：使用技术手段防止爬虫程序爬取数据误伤：反爬虫技术将普通用户识别为爬虫，这种情况多出现在封ip中，例如学校网络、小区网络再或者网络网络都是共享一个公共ip，这个时候如果是封ip就会导致很多正常访问的用户也无法获取到数据。所以相对来说封ip的策略不是特别好...
python爬虫从入门到实践pdf百度云_PYTHON网络爬虫从入门到实践.pdf
weixin_39581896的博客
11-24 1004
推荐序推荐序二前言前言二第1章网络爬虫入门1.1为什么要学网络爬虫1.1.1网络爬虫能带来什么好处1.1.2能从网络上爬取什么数据1.1.3应不应该学爬虫1.2网络爬虫是否合法1.2.1Robots协议1.2.2网络爬虫的约束1.3网络爬虫的基本议题1.3.1Python爬虫的流程1.3.2三个流程的技术实现2章编写个网络爬虫2.1搭建Python平台2.1.1Python的安装2.1.2使用pi...
Python爬虫与反爬虫大战
09-16
主要介绍了Python爬虫与反爬虫的相关资料，文中讲解非常细致，帮助大家更好的理解Python爬虫与反爬虫的关系，感兴趣的朋友可以了解下
本人多年使用的爬虫与反爬虫经验
12-23
本人多年使用的爬虫与反爬虫经验 原理+中间件+源代码 各种爬虫技术+针对各种爬虫而开发的反爬虫技术
反爬虫策略反爬虫手段
01-06
反爬虫策略和手段 正所谓魔高一尺道高一丈 robots协议 反爬虫策略 反反爬虫策略
Python反爬虫机制的主要策略
08-23
Python反爬虫机制是随着网络爬虫的发展而逐渐兴起的，它主要是为了保护网站资源的安全和正常运营。本文将介绍一些常见的Python反爬虫技术，并提供一些对策和建议。 首先，User-Agent是HTTP请求头中的一个字段，用来...
历时一个月整理的 Python 爬虫学习手册全集PDF（免费开放下载）
涛哥聊Python
10-11 234
前段时间收到很多小伙伴的诉求，想要系统的学习Python爬虫，这段时间一直在为大家整理，现在已经全部整理完成，需要的小伙伴不要错过！下面看看详细的内容吧！
Python爬虫的两套解析方法和四种爬虫实现
IT派
08-29 660
对于大多数朋友而言，爬虫绝对是学习python的最好的起手和入门方式。因为爬虫思维模式固定，编程模式也相对简单，一般在细节处理上积累一些经验都可以成功入门。本文想针对某一...
反爬虫兵法演绎03 _ 反爬虫的发展以及展望：我们也不是什么正经工程师
sucaiwa的博客
04-17 698
你好，我是DS Hunter。在上一节课里，我们讲了反爬虫方是如何对抗爬虫方这个坏人的。这节课，咱们一起看一看，在内卷之下，反爬虫真的能保证“不作恶”吗？这节课是我们历史背景篇的最后一节课，我们来点轻松的，我会首先讲一讲反爬虫方和爬虫方这两方各自最通用的两个手段——验证码和浏览器模拟的历史过程，然后再用几个故事来带你看看反爬虫的近期发展。在一些故事的结尾，我也会预言一下后续的发展。当然了，预测未来是一个不怎么靠谱的事情，失败概率极高，不过我还是来无责预测下。
使用浏览器内核爬取OTA数据
weixin_33769207的博客
10-01 529
2019独角兽企业重金招聘Python工程师标准>>> ...
Python发展史及网络爬虫
python爬虫开发教程
03-28 2777
Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。这篇文章给大家介绍了python发展史及网络爬虫知识，感兴趣的朋友跟随小编一起看看吧 Python 简介 Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。 Python 的设计具有很强的可读性，相比其他语言经常使用英文关键字，其他语言的一些标点符号，它具有比其他语言更有特色语法结构。 Pyt...
关于爬虫发展历史，价值，问题和应对恶意爬虫的策略
最新发布
mate1357的博客
03-06 1106
咱们可以根据 Web 应用程序和业务需求创建自定义 WAF 规则，以更有效地识别和阻止恶意爬虫。例如，咱们可以创建规则来检测特定的攻击模式、请求路径或查询参数等。
python爬虫针对反爬虫
09-14
针对反爬虫，Python爬虫可以采取以下几种策略来应对： 1. 使用请求头(User-Agent)伪装：可以在请求头中设置一个常见的浏览器User-Agent，使爬虫的请求看起来像是来自浏览器的正常请求。 2. 设置延时请求：在每次请求之间添加一定的延时，模仿人的行为，避免过于频繁的请求，从而减轻服务器的负担。 3. 使用代理IP：通过使用代理IP来隐藏真实的爬虫IP地址，实现匿名访问。可以使用第三方代理服务商提供的代理IP，或者自己搭建代理池。 4. 解析动态加载内容：对于使用JavaScript动态加载数据的网页，在爬取之前，可以使用工具如Selenium来模拟浏览器环境，确保能够获取到完整的数据。 5. 处理验证码：针对需要验证码验证的网站，可以使用第三方库如pytesseract或者云打码平台来识别验证码，绕过验证码验证。 6. 登录授权：对于需要登录才能访问的网站，可以使用模拟登录的方式获取授权后的页面数据。 7. 对抗反爬虫策略：一些网站会使用一些反爬虫策略如IP封禁、限制访问频率等。可以使用IP池轮换IP、修改请求头等方式来应对。 需要注意的是，爬虫行为需要遵守网站的规则和法律法规，合法、合规的爬虫行为是被允许的，非法的爬虫行为可能会产生法律风险。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值