暂停与重启scrapy爬虫

最新推荐文章于 2022-03-17 17:55:30 发布
最新推荐文章于 2022-03-17 17:55:30 发布
阅读量422 收藏
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43109978/article/details/97019679
版权

需要记住爬虫状态，新建job_info

scrapy crawl wenzhang -s JOBDIR=job_info/001

爬虫结束的信号是ctrl+c(win+linux都有效)的命令，不能kill掉进程，因为这样无法发送ctrl+c的信号，
按两次ctrl+c意味着强制退出，也无法发送信号
crtl+c后，不会立即停止，会进行一些善后工作，比如一些已经发出去的request，需要等它返回

其中seen保存已经访问过的url
state是spider的状态信息
p0是我们继续要发送的request

重启scrapy crawl manhua -s JOBDIR=job_info/001(p0会发生变化，会产生新的reqeutst)

要想重新爬取，可在指定002

必须要注意的是，这个目录不允许被不同的 spider 共享

qq_43109978
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scrapy爬虫项目.zip
04-26
scrapy爬虫 link_spider 图片爬虫 rere_word 生僻字爬虫scrapy爬虫 link_spider 图片爬虫 rere_word 生僻字爬虫scrapy爬虫 link_spider 图片爬虫 rere_word 生僻字爬虫scrapy爬虫 link_spider 图片爬虫 rere_word ...
关于scrapy-redis Ctrl+c 不管用问题
blackball9的博客
04-12 1039
在一次执行完scrapy解析完数据之后想要结束的时候，使用Ctrl c竟然不管用，之后查找了下，发现是本地的redis未响应，r刷新了下redis之后scrapy得到redis响应之后就可以结束了。
scrapy 如何暂停与重启
zaishijizhidian的博客
03-28 6395
在project文件夹下新建一个文件夹：job_info/001目的是保存暂停之前还没处理完的文件内容，这只这个参数按ctrl + c 可以实现爬虫的暂停，如果连按两次ctrl + c 就是强制退出了...
scrapy爬虫设置停止的条件
amanloveformi的博客
08-29 6335
  使用scrapy做爬虫程序时，有时候我们需要在爬虫满足一定条件时，将程序中断掉，从而不再向服务器发送已经没有意义的请求。 一：scrapy中提供的两种停止的方式：  1.在spider中停止爬虫：  在解析函数中调用内置函数 self.crawler.engine.close_spider(self, "当调用此方法时打印信息为：无有效信息，关闭spider")   设置条件，当满足一定的条...
Scrapy之信号
04-18 3534
信号提金了一种机制，可以让事件发生时调用该事件的回调函数，例如，当爬虫开启，或者当抓取到了一个Item。你可以通过crawler.signals.connect()方法来把它们和回调函数关联起来。Scrapy共有11个信号，或许理解它们的最简单的方式就是在实例中观察它们。这时创建了一个爬虫的工程，主要目的就是记录了每次的方法调用。爬虫本身比较简单，只是yield了两个Item然后抛出一个异常，并且在
优雅的操作scrapy爬虫的开始和结束
x2584179909的博客
10-11 3506
优雅的操作scrapy爬虫的开始和结束scrapy 管道中开始和结束信号scrapy spider中开始和结束信号 scrapy 管道中开始和结束信号 from scrapy import signals class MySpider(object): def __init__(self): pass @classmethod def from_crawl...
完整版Python网络爬虫之Scrapy爬虫框架使用案例教程含源代码共18页.pdf
06-19
Scratch，是抓取的意思，这个Python的爬虫框架叫Scrapy，大概也是这个意思吧，就叫它：小刮刮吧。 小刮刮是一个为遍历爬行网站、分解获取数据而设计的应用程序框架，它可以应用在广泛领域：数据挖掘、信息处理和或者...
scrapy爬虫教程（一）–scrapy安装及生成项目
01-20
安装 在终端输入pip install，如果速度太慢指定国内镜像安装pip ...执行scrapy genspider 爬虫文件名 域名 如scrapy genspider lagou www.lagou.com，会在spiders文件夹中生成名为lagou.py的爬虫模板文件，该方式是
虚拟环境搭建与scrapy爬虫项目创建
12-30
虚拟环境搭建（virtualenv）: pip 安装 virtualenvwrapper-win 统一管理虚拟环境，放在环境变量WORKON_HOME路径下（Evns文件夹下）然后可以在cmd中执行下列命令： workon 显示当前所有虚拟环境；...
scrapy -- 暂停爬虫、恢复爬虫
MarkAdc的博客
03-17 4836
自己笔记本电脑在公司跑爬虫，然后下班了，我把爬虫先暂停，然后把电脑带回家。回家后我再接着跑爬虫，它不香吗
scrapy关闭爬虫
python学习者Joy.xiong的博客
03-05 2877
爬虫结束是一个很模糊的概念，在爬虫爬取过程中，爬取队列是一个不断动态变化的过程，随着request的爬取，又会有新的request进入爬取队列。进进出出。爬取速度高于填充速度，就会有队列空窗期（爬取队列中，某一段时间会出现没有request的情况），爬取速度低于填充速度，就不会出现空窗期。所以对于爬虫结束这件事来说，只能模糊定义，没有一个精确的标准。 利用scrapy的关闭spider扩展功能 #...
scrapy配置爬虫关闭的条件
qq_41020281的博客
10-24 5888
在scrapy的默认配置文件中看到这四个配置： CLOSESPIDER_TIMEOUT = 0 CLOSESPIDER_PAGECOUNT = 0 CLOSESPIDER_ITEMCOUNT = 0 CLOSESPIDER_ERRORCOUNT = 0 这四个配置是配置爬虫自动关闭条件的，等于0代表不开启。 CLOSESPIDER_TIMEOUT 默认值:0 一个整数值，单位为秒。...
python爬虫进阶之scrapy的暂停与重启
热门推荐
Jonny
08-01 1万+
scrapy的每一个爬虫，暂停时可以记录暂停状态以及爬取了哪些url，重启时可以从暂停状态开始爬取过的URL不在爬取 实现暂停与重启记录状态 方法一： 1、首先cd进入到scrapy项目里（当然你也可以通过编写脚本Python文件直接在pycharm中运行） 2、在scrapy项目里创建保存记录信息的文件夹 3、执行命令： 　　scrapy crawl 爬虫名称 -s JOBDIR=保...
Scrapy设置之提前终止爬虫
04-09 1万+
Scrapy的CloseSpider扩展会在满足条件时自动终止爬虫程序。可以设置CLOSESPIDER_TIMEOUT（秒）、CLOSESPIDER_ITEMCOUNT、CLOSESPIDER_PAGECOUNT、CLOSESPIDER_ERRORCOUNT分别代表在指定时间过后、在抓取了指定数目的Item之后、在收到了指定数目的响应之后、在发生了指定数目的错误之后就终止爬虫程序。通常情况下可以在命
scrapy爬虫的暂停与重启
oldbig_lin的博客
09-29 8989
首先要有一个scrapy项目 这里用我的爬取知乎用户信息的项目来做例子：https://github.com/oldbig-carry/zhihu_user 在cmd上cd 进入项目 然后在项目目录下创建 记录文件：remain/001 然后输入：scrapy crawl  zhihu  -s JOBDIR=remain/001 回车运行就行了
scrapy 的暂停和重启
了不起的水獭的博客
07-17 6759
scrapy的爬虫在运行时，需要暂时停止运行，并在下一次从暂停的地方继续爬取的方法： 1.打开cmd进入虚拟环境，cd到scrapy的main.py目录下； 2.在cmd下输入以下命令 scrapy crawl 爬虫名称 -s JOBDIR=保存进程的文件夹目录 比如我要运行的spider的name为zhihu，文件夹目录是scrapy目录下的job_info/001(001表示这是一次...
第六章 慕课网学习-scrapy的暂停与重启
shaququ的博客
08-25 3107
1.scrapy crawl spider lagou -s JOBDIR= job_info/001 将暂停时信息保存到001 (-s是-set的意思) 1.不同的spider需要不同的目录 2.可以在 settings 和 custome_setting 中设置 JOBDIR= job_info/001 3.ctrl-c 后就会将暂停信息保存到001 要想重新开始则 再次运行 scrap
scrapy爬虫讲解
最新发布
10-19
Scrapy是一个Python编写的开源网络爬虫框架，它可以用于抓取网站并从中提取结构化的数据。Scrapy框架分为Spider爬虫和CrawlSpider（规则爬虫），本篇文章主要介绍Spider爬虫的使用。在实现Scrapy爬虫项目时，最核心...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值