scrapy框架开发爬虫实战——反爬虫策略与反反爬虫策略

最新推荐文章于 2022-09-20 14:34:43 发布
最新推荐文章于 2022-09-20 14:34:43 发布
阅读量1.5k 收藏 16
点赞数 4
分类专栏： python爬虫 文章标签： scrapy 反爬虫 反反爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36109528/article/details/100108367
版权

反爬虫、反反爬虫

简单低级的爬虫有一个很大的优点：速度快，伪装度低。如果你爬取的网站没有反爬机制，爬虫们可以非常简单粗暴地快速抓取大量数据，但是这样往往就导致一个问题，因为请求过多，很容易造成服务器过载，不能正常工作。

网站怎样识别爬虫？

1、检查header信息，一般有User-Agent,Referer、Cookies等等。

  • User-Agent是检查用户所用客户端的种类和版本，在Scrapy中，通常是在下载器中间件中进行处理。
  • Referer是检查此请求由哪里来，通常可以做图片的盗链判断。在Scrapy中，如果某个页面url是通过之前爬取的页面提取到，Scrapy会自动把之前爬取的页面url作为Referfer。也可以通过上面的方式自己定义Referfer字段。
  • 网站可能会检测Cookie
最低0.47元/天 解锁文章
脱氨垃圾
关注
  • 4
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python Scrapy反爬虫常见解决方案（包含5种方法）
weixin_41045487的博客
07-07 938
有些网站为了防止机器程序访问，会做一些很“变态”的设计，它会记录同一个客户端、同一个IP地址的访问次数，只要达到一定的访问次数（不管你是正常用户，还是机器程序），目标网站就会弹出一个图形验证码让你输入，只有成功输入了图形验证码才能继续访问。但是识别率高的在线识别网站通常都要收费，而免费的往往识别率不高，还不如自己写程序来识别。目标网站可以判断，如果同一个客户端在单位时间内的请求过于频繁，则基本可以断定这个客户端不是正常用户，很有可能是程序操作（比如爬虫），此时目标网站就可以禁用该客户端的访问。
scrapy--反爬
qq_42664045的博客
04-09 490
防止爬虫被反主要有以下几个策略： 1.动态设置 User-Agent（随机切换 User-Agent，模拟不同用户的浏览器信息） 2.随机切换ip：1.request.meta['proxy'] = 'xxx.xx.xx.xxx:xx属性设置新的，接入ip代理池，2.下载中间件， 3.动态网页：scrapy和selenium对接 4.禁用cookies：有些网站通过 cookie 的...
scrapy框架-反爬虫与绕过方法+setting动态配置
weixin_33852020的博客
07-13 5065
反爬虫与绕过方法 反爬虫的技术越来越丰富，种类也越来越多，以下归纳爬虫与反爬虫的应对措施和绕过方法。 小蜘蛛 甲.对网站感兴趣，分析网络请求并写爬虫进行数据爬取 乙.监控发现某时间段访问增大，IP相同，user-agent都是python，判断是爬虫，直接限制访问（不是封IP） 甲.随机切换us...
Python scrapy 爬虫入门（七）突破反爬虫技术
12-21
1 反爬虫技术及突破措施 1.1 降低请求频率 降低请求频率以模仿人类用户，而不是机器。 settings.py中设置DOWNLOAD_DELAY即可 # 即两次请求间隔为 3 秒 DOWNLOAD_DELAY = 3 另外，为了防止请求过于规律，可以使用RANDOMIZE_DOWNLOAD_DELAY设置一个介于0.5* DOWNLOAD_DELAY和1.5 *DOWNLOAD_DELAY之间的随机延迟时间。 RANDOMIZE_DOWNLOAD_DELAY = TRUE 1.2 修改请求头 伪装用户进行爬虫时，一定不要忘记设置请求头以表示自己是人形用户。特别是警觉性比较高的网站，请求头
浅谈Scrapy框架普通反爬虫机制的应对策略
09-20
主要介绍了浅谈Scrapy框架普通反爬虫机制的应对策略，具有一定借鉴价值,需要的朋友可以参考下
scrapy框架爬虫初体验——豆瓣评分top250
12-22
Scrapy安装 Scrapy抓取步骤 第一步：新建项目 创建scrapy项目 设置settings.py 创建爬虫文件（douban_spider.py） 第二步：明确目标 打开网站 分析抓取内容 实现数据结构（items.py） 第三步：制作爬虫 测试 编写...
python解决网站的反爬虫策略总结
09-21
此外，还可以利用如Scrapy-Splash这样的中间件，它允许在Scrapy框架中与浏览器交互，以便爬取JavaScript渲染的内容。 总的来说，Python爬虫开发者在面对反爬虫策略时，需要灵活运用多种技术手段，如伪装请求头、...
给 Scrapy 爬虫项目设置防反爬
Gooooa的博客
06-16 3237
所有的设置都是在scrapy爬虫项目中的settings.py 文件中进行设置。 Step 1 . 设置爬虫不遵循 robots.txt协议详细内容请跳转–原文链接第22行： ROBOTSTXT_OBEY = FalseStep 2 . 设置取消Cookies第36行： COOKIES_ENABLED = FalseStep 3 . 设置用户代理值（USER_AGENT）第19行： USER_AG
第7章 Scrapy突破反爬虫的限制
weixin_30505043的博客
04-25 148
7-1 爬虫和反爬的对抗过程以及策略 Ⅰ、爬虫和反爬虫基本概念 爬虫：自动获取网站数据的程序，关键是批量的获取。 反爬虫：使用技术手段防止爬虫程序的方法。 误伤：反爬虫技术将普通用户识别为爬虫，如果误伤过高，效果再高也不能用。 成本：反爬虫需要的人力和机器成本。 拦截：成功拦截爬虫，一般拦截率越高，误伤率越高。 Ⅱ、反爬虫的目的 初级爬虫----简单粗暴，不管...
基于Python Scrapy实现的蜂鸟数据采集爬虫系统 含IP代理（反爬）、日志处理和全部源代码等
07-10
基于Python Scrapy实现的蜂鸟数据采集爬虫系统 含代理、日志处理和全部源代码等 import scrapy from fengniao.items import FengniaoItem from scrapy.spidermiddlewares.httperror import HttpError from twisted.internet.error import TimeoutError, TCPTimedOutError, DNSLookupError, ConnectionRefusedError class FengniaoclawerSpider(scrapy.Spider): name = 'fengniaoClawer' allowed_domains = ['fengniao.com'] # 爬虫自定义设置，会覆盖 settings.py 文件中的设置 custom_settings = { 'LOG_LEVEL': 'DEBUG', # 定义log等级 'DOWNLOAD_DELAY': 0, # 下载延时 'COOKIES_ENABLED': False, # enabled by default 'DEFAULT_REQUEST_HEADERS': { # 'Host': 'www.fengniao.com', 'Referer': 'https://www.fengniao.com', }, # 管道文件，优先级按照由小到大依次进入 'ITEM_PIPELINES': { 'fengniao.pipelines.ImagePipeline': 100, 'fengniao.pipelines.FengniaoPipeline': 300, }, # 关于下载图片部分 'IMAGES_STORE': 'fengniaoPhoto', # 没有则新建 'IMAGES_EXPIRES': 90, # 图片有效期,已经存在的图片在这个时间段内不会再下载 'IMAGES_MIN_HEIGHT': 100, # 图片最小尺寸（高度），低于这个高度的图片不会下载 'IMAGES_MIN_WIDTH': 100, # 图片最小尺寸（宽度），低于这个宽度的图片不会下载 # 下载中间件，优先级按照由小到大依次进入 'DOWNLOADER_MIDDLEWARES': { 'fengniao.middlewares.ProxiesMiddleware': 400, 'fengniao.middlewares.HeadersMiddleware': 543, 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None, }, 'DEPTH_PRIORITY': 1, # BFS，是以starts_url为准，局部BFS，受CONCURRENT_REQUESTS影响 'SCHEDULER_DISK_QUEUE': 'scrapy.squeues.PickleFifoDiskQueue', 'SCHEDULER_MEMORY_QUEUE': 'scrapy.squeues.FifoMemoryQueue', 'REDIRECT_PRIORITY_ADJUST': 2, # Default: +2 'RETRY_PRIORITY_ADJUST': -1, # Default: -1 'RETRY_TIMES': 8, # 重试次数 # Default: 2, can also be specified per-request using max_retry_times attribute of Request.meta 'DOWNLOAD_TIMEOUT': 30, # This timeout can be set per spider using download_timeout spider attribute and per-request using download_timeout Request.meta key # 'DUPEFILTER_CLASS': "scrapy_redis.dupefilter.RFPDupeFilter", # 'SCHEDULER': "scrapy_redis.scheduler.Scheduler", # 'SCHEDULER_PERSIST': False, # Don't cleanup red
Scrapy学习笔记(6)-反爬虫与反反爬虫策略
xiaoxianerqq的专栏
09-28 2232
转自：http://jinbitou.net/2016/12/01/2229.html   前言     到目前为止我们已经写了好几个爬虫，虽然已经可以实现数据采集，但是我们的爬虫其实是在”裸奔”，因为没有加任何的伪装，很容易就可以被远程服务器识别出来，这也就意味着我们的爬虫很可能在采集了十几页数据或者运行几分钟之后就出现问题，轻则出现验证码或暂时访问不了目标站点，重则本机IP直接被拉入黑名...
Python 爬虫 scrapy 反 反爬虫策略
IT_arookie的博客
10-19 1179
转载自https://blog.csdn.net/mouday/article/details/80777256 爬虫策略: 1、动态User-Agent（随机切换User-Agent，模拟不同用户的浏览器信息）,使用中间件 class RandomUserAgentMiddleware(object): def process_request(self, request, spider...
scrapy如何降低反爬风险
热门推荐
钟健的博客
09-10 6万+
scrapy如何降低反爬风险 1、设置时间间隔，降低爬取速度 打开setting.py设置 #减少请求并发数量 CONCURRENT_REQUESTS = 4 CONCURRENT_REQUESTS_PER_DOMAIN = 4 CONCURRENT_REQUESTS_PER_IP = 4 #设置请求间隔 DOWNLOAD_DELAY = 1 2.设置随机请求头部 middlewares.py import random class UserAgentDownloadMiddleWare(object
10994部漫画信息，用Python实施大采集，因为反爬差一点就翻车了
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
06-27 1万+
擦哥说这网站不正经~
Scrapy突破反爬虫限制
qq_42206477的博客
02-05 734
爬虫与反爬虫的对抗过程 对抗过程： scrapy 架构分析 组件组成： 运作流程： 通过downloadmiddleware随机更换user-agent User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等 ...
python爬虫反爬机制_Python Scrapy突破反爬虫机制（项目实践）
weixin_39640024的博客
11-27 251
对于 BOSS 直聘这种网站，当程序请求网页后，服务器响应内容包含了整个页面的 HTML 源代码，这样就可以使用爬虫来爬取数据。但有些网站做了一些“反爬虫”处理，其网页内容不是静态的，而是使用 JavaScript 动态加载的，此时的爬虫程序也需要做相应的改进。使用 shell 调试工具分析目标站点本项目爬取的目标站点是 https://unsplash.com/，该网站包含了大量高清、优美的图片...
在scrapy框架中如何设置开放代理池达到反爬的目的
liumengqi11的博客
01-25 1231
我们在随机爬取某个网站的时候，比如对网站发出成千上万次的请求，如果每次访问的ip都是一样的，就很容易被服务器识别出你是一个爬虫。因此在发送请求多了之后我们就要设置ip代理池来随机更换我们的ip地址,使服务器不那么容易去识别。那么如何在scrapy框架中如何设置ip代理池呢？ 事先声明：在阅读本文之前，要对python爬虫和scrapy框架有一定的了解！！！
爬虫与反爬虫技术简介
最新发布
萌兔兔MMQ！！
09-20 959
互联网的大数据时代的来临，网络爬虫也成了互联网中一个重要行业，它是一种自动获取网页数据信息的爬虫程序，是网站搜索引擎的重要组成部分。通过爬虫，可以获取自己想要的相关数据信息，让爬虫协助自己的工作，进而降低成本，提高业务成功率和提高业务效率。本文一方面从爬虫与反反爬的角度来说明如何高效的对网络上的公开数据进行爬取，另一方面也会介绍反爬虫的技术手段，为防止外部爬虫大批量的采集数据的过程对服务器造成超负载方面提供些许建议。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值