Scrapy手动增加Add Cookie和关掉重复过滤器dupfilters

最新推荐文章于 2022-09-07 18:20:02 发布
最新推荐文章于 2022-09-07 18:20:02 发布
阅读量5.8k 收藏 3
点赞数 2
分类专栏： Python 文章标签： scrapy cookie dupfilter addcookie
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huyoo/article/details/75570668
版权
本文介绍了在Scrapy中如何手动添加Cookie，特别是在js设置的cookie无法自动携带到请求时的解决方法，并讨论了关闭重复过滤器（dupfilters）的尝试和解决方案。
摘要由CSDN通过智能技术生成

Scrapy 本身是能够处理Cookie的, 工作原理和浏览器类似

  1. 浏览器发送请求
  2. 服务器返回响应, 并使用Set-Cookie来要求浏览器再下一次的请求中, 带上Cookie
  3. 下一次请求, 浏览器在请求头中使用Cookie带上上一次服务器要求设置的Cookie

整个流程无需人工干预, 由浏览器自动完成.

在Scrapy中, 这个也是无需干预的, 其功能在CookieMiddleware中自动完成

使用的方法就是:

1. settings.py中打开开关

COOKIES_ENABLED=True
COOKIES_DEBUG=True #这个是在log中能看到每次请求发出了和接收到什么Cookie

2. 运行你的爬虫即可

那么, 问题来了, 怎么手动带上额外的Cookie呢?

翻了很多文档和源码, 特总结如下

  1. 带上Cookie, 一定是在Request上操作的, 所以, 不要去翻Response的源码了.
  2. Request有2个方法
    1) Request, FormRequest
    2) response.follow(…) #这个执行完了, 会返回一个Request对象

3. 为什么会要手动添加一个Cookie

答案就是现在的网页很多都用js来给document添加cookie
比如document.cookie=’person=zhouxingchi’;
这个在网页上, 由js添加的cookie, 再下一次请求的时候, 如果使用浏览器, 是可以带到下一个请求中的.

但是在scrapy里, 因为获取的是源码, 故js无法执行, 所以, 要求开发人员手动为下一个请求添加上该cookie.

最低0.47元/天 解锁文章
糊糊
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
笔记09-Filter、Cookies
qq_53855503的博客
10-07 346
Filter(过滤器) 一、作用： 1.生活中：帮助我们筛选杂质，提取优质的物品 2.web应用中：过滤request，response 3.真是应用中： 1）可以做自动登录，记住用户名密码， 2）处理整个web应用的字符集 3）过滤敏感字体 二、优先级 过滤器是在web服务器启动的时候直接加载，所以优先于所有资源，高于页面，高于jsp，可以理解为过滤器在mvc模型中处于人和页面交互之间的位置。 三、强调 访问页面一次就要加载一次Filter过滤器 四、创建一个Filter过滤器 1.实现Filter接..
Scrapy之dupefilters(去重)以及源码分析/depth
02-25 1699
避免重复访问 　　scrapy默认使用 scrapy.dupefilter.RFPDupeFilter 进行去重，相关配置有：　 1 DUPEFILTER_CLASS = 'scrapy.dupefilter.RFPDupeFilter' 2 DUPEFILTER_DEBUG = False 3 JOBDIR = "保存记录的日志路径，如：/root/" # 最终路径为 /root/...
记一次使用scrapy过程中遇到的问题之过滤问题
mr~li的博客
04-17 717
我们都知道，scrapy的默认过滤机制是过滤已经请求过的url地址，就是说如果某个url地址在发起新的请求前已经请求过了，那么scrapy默认会给我们过滤掉本次请求，如果想改变这种默认机制也是可以的，在发请求的时候假如参数dont_filter=True，这个值默认是False的，所以才会过滤掉已经请求过的地址，至于过滤的原理是基于什么，这里不做详细介绍，有兴趣的可以看下scrapy的源码介绍，是...
在scrapy中，不过滤重复的请求
一个程序员的成长之路。。。
02-01 7181
Scrapy提供了一个内置的重复请求过滤器，用于根据网址过滤重复的请求。可以根据业务需求制定规则过滤重复的请求 基于url过滤重复的请求 假设已访问过 http:://www.abc.com/p/xyz.html?id=1234&refer=4567 我想做的是过滤请求，如： http:://www.abc.com/p/xyz.html?id=1234&refer=5678 通
关于scrapy中request过滤问题
weixin_42833042的博客
11-14 1967
问题起因 由于scrapy中有自带的spidermiddlewares去过滤我们yield进来的request请求，很多时候会导致爬取数据缺失会直接一部分跳过。 常见情景： 可以发现，最常见的就是spidermiddlewares.offsite过滤，官方文档也说明了： 我收到了 “Filtered offsite request” 消息。如何修复？ 这些消息(以 DEBUG 所记录)并不...
redis队列去重_scrapy 去重与 scrapy_redis 去重与布隆过滤器
weixin_32324637的博客
01-14 249
这是从博客地址搬过来的在开始介绍 scrapy 的去重之前，先想想我们是怎么对 requests 对去重的。requests 只是下载器，本身并没有提供去重功能。所以我们需要自己去做。很典型的做法是事先定义一个去重队列，判断抓取的 url 是否在其中，如下：crawled_urls = set()def check_url(url):if url not in crawled_urls:retur...
redis队列去重_scrapy去重与scrapy_redis去重与布隆过滤器
weixin_36265507的博客
01-14 205
在开始介绍scrapy的去重之前，先想想我们是怎么对requests对去重的。requests只是下载器，本身并没有提供去重功能。所以我们需要自己去做。很典型的做法是事先定义一个去重队列，判断抓取的url是否在其中，如下：crawled_urls = set()def check_url(url):if url not in crawled_urls:return Truereturn False...
Scrapy 下载器 中间件(Downloader Middleware)
墨鱼菜鸡
07-11 1005
Scrapy 下载器中间件官方文档：https://scrapy-chs.readthedocs.io/zh_CN/1.0/topics/downloader-middleware.html 官方 英文 文档：http://doc.scrapy.org/en/latest/topics/downloader-middleware.html#topics...
Scrapy
casn_d的博客
02-08 927
Scrapy框架(一) 简介 Scrapy是纯Python开发的一个高效,结构化的网页抓取框架； Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。 Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试 Scrapy使用了Twisted 异步网络库来处理网络通讯。 使用原因： 1.为了更利于我们将精
scrapy主动触发关闭爬虫
fsh_walwal的博客
07-23 1万+
项目需求：采集昨日产生的数据，比如新闻，需要避免数据重复，因为新闻都是按照发布时间逆序排列的，所以只需根据新闻发布时间进行过滤，当发现采集到比昨天更早的数据时关闭爬虫。 可以在直接spider、pipeline和downloaderMiddlewares中关闭爬虫 在spider中时在方法里直接写 self.crawler.engine.close_spider(self, 'respon...
scrapy 忽略|屏蔽请求
笑笑布丁的博客
10-28 1541
背景:有时候在scrapy中,我们经常会碰到一些我们并不需要的url请求,一是它会带来脏数据,而是它会占用请求资源,造成不必要浪费. 解决办法:碰到这种情况,我们可以自己写一个过滤这些请求的中间件(middleware). 比如,我的这个是它会在url里面有些关键字,当url中有这些关键字的时候,中间件就会把请求过滤掉.这是这个middleware的设计思路,下面来看具体怎么去实现它: # 需要用...
Request cookie Session学习
m0_53737524的博客
03-12 1155
request封装了所有的请求信息 protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException { System.out.println("请求方法："+request.getMethod()); System.out.println("URI："+request.getRequestURI()); System.ou.
Python爬虫笔记（十二）——Scrapy官方文档阅读笔记——request与response
菜到怀疑人生的博客
08-10 968
Request和Response对象用于爬取网站   Request对象 Request对象代表HTTP请求，通常由Spider生成，由Downloader执行发送，然后由Downloader生成返回Response对象 __init__：构造函数，常用参数： url：请求的url callback：用于处理response的函数，如果没有指定，scrapy默认使用parse函数 m...
Scrapy去重操作
热门推荐
钟健的博客
09-07 1万+
一个筛选器，用于查找重复项，并删除那些已经处理过的项。您在此设置中分配给类的整数值确定它们运行的顺序：项目从值较低的类转到值较高的类。通常将这些数字定义在0-1000范围内。要激活Item Pipeline组件，必须将其类添加到 ITEM_PIPELINES。
使用 Scrapy 框架对重复的 url 无法获取数据，dont_filter=True
JIE的博客 --- moon_coder
08-02 2173
Scrapy在进入parse时，会默认请求一次start_urls[0]，而当你在parse中又对start_urls[0]进行请求时，Scrapy底层会默认过滤掉重复的url，不会对该请求进行提交，这就是为什么parse2不被调用的原因。添加dont_filter=True参数，这样Scrapy就不会过滤掉重复的请求。Scrapy内置了重复过滤功能，默认情况下该功能处于打开状态。你使用了Scrapy对重复的url进行请求。此时，parse2会被正常调用。...
scrapy多层数据传递，数据出现重复问题的解决
qq_44857505的博客
01-05 508
https://www.jianshu.com/p/42f22085f4c5 使用深度拷贝
Scrapy去重
企鹅菜鸟的成长过程
12-21 3008
背景： 要使用去重功能对重复的URL进行处理，避免重复劳动。目前有三种方式进行去重，第一种是使用Python语言自带的set集合数据结构进行自动去重，第二种是使用Redis中间件中的set集合进行去重，第三种是使用BloomFilter过滤器进行去重。 第一种去重：使用Python自带的set集合数据结构进行自动去重。 https://github.com/scrapy/scrapy 我们查看源代码 scrapy/dupefilters.py/RFPDupeFilter类： ...
scrapy模拟登录代码演示及cookie原理说明
weixin_33747129的博客
07-13 144
登录的需求 有些数据，必须在登录之后才能查看，所以我们在爬取过程中就会产生模拟登录的需求，它有两个点： 1、未登录的情况下无法查看数据，或者直接弹出登录框提示你先登录 2、登录后登录状态的保持（通常可以理解为cookie的处理） 登录的逻辑 访问登录页面(部分网站会在登录页面设定token或标识来反爬虫，根...
scrapy 布隆过滤器中间件编写
最新发布
08-19
在 Scrapy 中使用布隆过滤器中间件可以有效地过滤掉已经爬取过的重复URL，提高爬虫的效率。下面是一个简单的示例，展示了如何编写一个布隆过滤器中间件： ```python from scrapy.dupefilters import BaseDupeFilter from scrapy.utils.request import request_fingerprint from redis import Redis from redis_bloom_filter import BloomFilter class BloomFilterDupeFilter(BaseDupeFilter): def __init__(self, redis_host='localhost', redis_port=6379, redis_db=0, redis_key='bloomfilter'): self.redis_host = redis_host self.redis_port = redis_port self.redis_db = redis_db self.redis_key = redis_key @classmethod def from_settings(cls, settings): redis_host = settings.get('REDIS_HOST', 'localhost') redis_port = settings.get('REDIS_PORT', 6379) redis_db = settings.get('REDIS_DB', 0) redis_key = settings.get('BLOOMFILTER_KEY', 'bloomfilter') return cls(redis_host, redis_port, redis_db, redis_key) def open(self): self.redis = Redis(host=self.redis_host, port=self.redis_port, db=self.redis_db) self.bloomfilter = BloomFilter(redis=self.redis, key=self.redis_key) def close(self, reason=''): self.redis.close() def request_seen(self, request): fp = request_fingerprint(request) if self.bloomfilter.exists(fp): return True self.bloomfilter.add(fp) return False def clear(self): self.redis.delete(self.redis_key) ``` 在上述代码中，我们使用了 `redis-bloom-filter` 库来实现布隆过滤器。首先，我们创建了 `BloomFilterDupeFilter` 类，继承自 `BaseDupeFilter`。在 `__init__` 方法中，我们接收 Redis 的相关配置参数，如主机、端口、数据库和键名。 `from_settings` 方法可以从 Scrapy 的配置中获取 Redis 和布隆过滤器的相关配置，这样可以更方便地在 Scrapy 的配置文件中进行设置。 在 `open` 方法中，我们初始化 Redis 连接，并创建一个 Bloom Filter 对象。 `request_seen` 方法用于判断一个请求是否已经被处理过。我们使用请求的指纹（通过 `request_fingerprint` 方法计算）作为布隆过滤器的键，如果该键已经存在于布隆过滤器中，则表示该请求已经被处理过，返回 True；否则，将请求的指纹添加到布隆过滤器中，并返回 False。 `clear` 方法用于清空布隆过滤器中的所有数据。 最后，在 Scrapy 的配置文件中，你需要启用该中间件，并设置相应的参数： ```python DUPEFILTER_CLASS = 'your_scrapy_project.middlewares.BloomFilterDupeFilter' REDIS_HOST = 'localhost' REDIS_PORT = 6379 REDIS_DB = 0 BLOOMFILTER_KEY = 'bloomfilter' ``` 上述代码中的 `'your_scrapy_project.middlewares.BloomFilterDupeFilter'` 需要根据你的项目结构和文件位置进行修改。 这是一个简单的示例，你可以根据自己的需求对布隆过滤器中间件进行扩展和优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值