redis 支持 json_Scrapy-redis和Scrapyd用法详解

最新推荐文章于 2023-04-28 14:00:43 发布
最新推荐文章于 2023-04-28 14:00:43 发布
阅读量191 收藏 1
点赞数 1
文章标签： redis 支持 json redis集群配置bind ip

7bf08892220319a7665812e41c786c2c.png
作者：Zarten 知乎专栏：Python爬虫深入详解 知乎ID： Zarten 简介： 互联网一线工作者，尊重原创并欢迎评论留言指出不足之处，也希望多些关注和点赞是给作者最好的鼓励 ！

Scrapy-redis概述

scrapy-redis是分布式爬虫较通用简单的框架，我们都知道scrapy框架不支持分布式的，scrapy-redis是以redis为基础的组件。

简单点说，scrapy-redis代替了scrapy中原有的一些队列，而是存在redis中，多台爬虫机器来共享redis里面的一些队列，从而达到一个分布式爬虫效果

Scrapy-redis用法

1.当然是需要在master机器上安装redis

2.在scrapy爬虫机器（Slaver）上安装scrapy-redis 命令为:

pip install scrapy-redis

3.只需在settings.py中相应设置就可以了，任务调度工作scrapy-redis已经帮我们做好了

4.在每个爬虫机器（slaver）上启动scrapy即可

  • SCHEDULER = "scrapy_redis.scheduler.Scheduler"

使用scrapy-redis里的调度器对所有爬虫机器统一调度，替换了scrapy里的调度器

  • DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

使用scrapy-redis中的去重组件，代替scrapy中的去重队列

  • REDIS_HOST = '127.0.0.1'REDIS_PORT = 6379REDIS_PARAMS = { 'password' : 'longqi'}

设置redis配置，不要密码可注释掉

上面通常都是要设置的，下面的可以选择性设置

  • ITEM_PIPELINES = { 'scrapy_redis.pipelines.RedisPipeline': 300}

将scrapy中的item存在redis中

  • SCHEDULER_PERSIST = True

爬虫结束后不会清空redis中的队列（去重队列），方便断点续爬

  • SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.PriorityQueue'

这个是默认的，不需要设置，优先级排序的队列。若需要设置别的方式如下：

先进先出队列：

SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.FifoQueue'

后进先出队列：

SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.LifoQueue'

从redis中启动爬虫

若多机器集群爬虫，可以将start_urls写入redis，从而从redis来启动整个爬虫集群。

步骤：

1.每个爬虫继承RedisSpider

from

2.每个爬虫中添加redis的key：redis_key

将starturls换成rediskey，格式为：爬虫名:start_urls 。注意：不是工程名，是爬虫名

redis_key = '爬虫名:start_urls'

3.启动爬虫集群

4.向redis中的redis_key注入开始的url，若有多个初始url，只需多次注入即可（即多次执行下面代码）

import

注：上面从redis启动时只能传入一个url，若有相应的参数（额外信息传递）可用如下方法

1.在上面现有代码中添加（改写）next_requests方法

def

2.注入初始url及额外信息即可

redis_pool

Scrapyd概述

scrapyd是部署scrapy分布式爬虫的工具，爬虫机器只需安装scrapyd的web服务，远程客户端就可以轻松在这台scrapyd机器上部署scrapy爬虫代码。也可以访问scrapyd的相应的url查看scrapy运行状态和scrapy日志信息。

Scrapyd使用

  • scrapyd安装

pip3 install scrapyd

安装完成后，需要修改一下配置文件，更改默认绑定的地址，以便外网可以访问，修改如下：

bind_address = 0.0.0.0

配置文件路径：

linux：

/etc/scrapyd/scrapyd.conf

windows在python的安装路径下：

python路径Libsite-packagesscrapyddefault_scrapyd.conf

启动scrapyd：

scrapyd

访问scrapyd服务：

默认端口为：6800

http://ip:6800 ,界面如下：

380ab73afc70d4c7db0edcb0866a64b5.png

scrapyd使用

scrapyd安装并在爬虫机器后台运行起来后，我们就要开始部署scrapy代码和访问等。scrapyd提供了主要2种方式来访问：

  • http形式的json API
  • scrapydAPI方式

http形式的json API

1.部署scrapy代码

curl http://localhost:6800/addversion.json -F project=myproject -F version=r23 -F egg=@myproject.egg

project：scrapy项目名称

version：版本信息

不过每次这样部署好像有点麻烦，这里有个Scrapyd-client工具来部署非常方便

Scrapyd-client使用

scrapyd-client安装：

pip3 install scrapyd-client

测试是否安装成功(出现帮助信息，正确)：

scrapyd-deploy -h

scrapyd-client使用：

在scrapy项目中的scrapy.cfg文件中，设置如下：

03878a1efd94dd5e1fb22819f3f2864c.png

设置完成后，用命令行切换到scrapy项目所在路径下：

scrapyd-deploy 名称

6e92fb407de0bca32dfcc76d5218fbc5.png

Scrapyd版本

设想一下这样的场景：若一个scrapy工程中有若干个爬虫spider正在运行，突然有一个爬虫出现bug不工作了，其他爬虫还在正常工作，这时我们不可能说修复好bug后，停止其他所有爬虫然后删除项目，重新将修改好的项目部署到scrapyd上吧？这时设置版本的重要性不言而喻！

我们可以修复好bug后，重新部署到scrapyd，但这时我们可以打个新的版本号，启动新的版本号的爬虫spider就可以了，其他爬虫还在旧版本里正常运行中。

  • 设置版本

设置版本有2种方法：

1.scrapyd-client 工具命令时 后面加参数 --version ，这里版本号最好是有顺序的，像这样：r1 r2 r3

scrapyd-deploy Zarten --version r1

2.在scrapy.cfg文件中

[deploy:Zarten]
url = http://192.168.2.227:6800/
project = scrapy_redis_test
version = r1

后面有介绍如何启动带版本号的项目

2.查看运行状态

curl http://localhost:6800/daemonstatus.json

还有很多http接口，这里将不一一介绍了，我这里将主要介绍下面的scrapydAPI方式，对http接口感兴趣的可以参考这里

scrapydAPI方式

这种方式可以在程序里面方便的控制和查看等操作

  • 安装

pip3 install python-scrapyd-api

  • 用法
from scrapyd_api import ScrapydAPI
scrapyd = ScrapydAPI('http://localhost:6800')
  • API方法

1.add_version(project, version, egg)

部署项目，可以指定版本，这里推荐使用上面介绍的scrapyd-client工具

2.schedule(project, spider, settings=None, **kwargs)

启动远程爬虫机器的scrapy

参数解析：

project：scrapy工程名称

spider：爬虫名称

settings：dict 重写scrapy中的settings

_version：str类型，指定版本号

job_id_Zarten = scrapyd_Zarten.schedule('scrapy_redis_test', 'quotes', _version='r2')

kwargs：自定义额外参数传递给scrapy的init函数

调用方法如下所示：

scrapyd_obj

_init_函数如下所示：

    def __init__(self, keyword_id, search_keyword, **kwargs):
        self.keyword_id = keyword_id
        self.search_keyword = search_keyword

返回值：

返回启动爬虫后的job id

3.job_status(project, job_id)

查看爬虫运行状态

参数解析：

project：scrapy工程名称

job_id：爬虫对应的唯一id，schedule方法会返回此值，如下：

b5b422ef87745895255a666260bb2024.png

返回值：

返回4种状态：

'running'：正在运行

'pending'：准备运行

'finished'：完成运行

''：若不能找到job_id，返回空

4.cancel(project, job, signal=None)

取消（停止）正在或准备运行的爬虫

参数解析：

project：scrapy工程名称

job：爬虫的job_id

signal：终止的信号，一般为None

返回值：

返回爬虫停止前的状态

注：有时运行中的爬虫不管用API还是命令行都无法停止，这里提供一种解决方案：
直接杀死进程
1.查看spider的pid
2.进入爬虫机器，如果是docker运行，则命令如下
docker exec -it 容器id kill -9 你的pid

5.delete_project(project)

删除爬虫项目

参数解析：

project：scrapy工程名

返回值：

成功返回 True 否则返回 False

6.delete_version(project, version)

删除指定的版本的scrapy的项目

参数解析：

project：scrapy项目名称

version：版本名称

返回值：

成功返回 True 否则返回 False

7.list_projects()

显示当前可用的scrapy项目

返回值：

list 所有scrapy工程名

8.list_spiders(project)

显示指定scrapy项目的所有爬虫

参数解析：

project：scrapy项目名称

返回值：

list 所有爬虫名称

9.list_versions(project)

显示指定scrapy项目的所有版本号

参数解析：

project：scrapy项目名称

返回值：

list 所有可用版本

10.list_jobs(project)

显示指定scrapy项目的所有准备、正在、完成运行的job_id

参数解析：

project：scrapy项目名称

返回值：

dict 所有 pending running finished 的job_id

docker内运行scrapyd

如果不使用docker，则需要在每台爬虫机器中安装scrapyd服务以及爬虫运行所需要的库，若将scrapyd及运行库制作成docker再上传到docker hub，每次只需pull下来运行docker就可以了。

制作docker+scrapyd

一般只需这3个文件即可：

126bec88b1f95c15c291d04102c10b6f.png
  • scrapyd.conf

其实就是复制配置文件（文件位置上面有介绍）过来后，改成 bind_address = 0.0.0.0

[scrapyd]
eggs_dir    = eggs
logs_dir    = logs
items_dir   =
jobs_to_keep = 5
dbs_dir     = dbs
max_proc    = 0
max_proc_per_cpu = 10
finished_to_keep = 100
poll_interval = 5.0
bind_address = 0.0.0.0
http_port   = 6800
debug       = off
runner      = scrapyd.runner
application = scrapyd.app.application
launcher    = scrapyd.launcher.Launcher
webroot     = scrapyd.website.Root

[services]
schedule.json     = scrapyd.webservice.Schedule
cancel.json       = scrapyd.webservice.Cancel
addversion.json   = scrapyd.webservice.AddVersion
listprojects.json = scrapyd.webservice.ListProjects
listversions.json = scrapyd.webservice.ListVersions
listspiders.json  = scrapyd.webservice.ListSpiders
delproject.json   = scrapyd.webservice.DeleteProject
delversion.json   = scrapyd.webservice.DeleteVersion
listjobs.json     = scrapyd.webservice.ListJobs
daemonstatus.json = scrapyd.webservice.DaemonStatus
  • Dockerfile
FROM python:3.6
ADD . /code
WORKDIR /code
COPY ./scrapyd.conf /etc/scrapyd/
EXPOSE 6800
RUN pip3 install -r requirements.txt
CMD scrapyd
  • requirements.txt

这里放一些项目所需的库，如果需要更通用点，尽可能多放一些常用的库，这样可以部署更多的项目到scrapyd中。若某个项目中使用的库在docker中找不到，那岂不是要再重新制作docker+scrapyd了？

最后就是制作docker+scrapyd了，具体制作过程查看docker详解那篇文章

weixin_39604516
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
scrapy-redis 使 redis 不止保存 url（例如：json）
墨鱼菜鸡
07-11 382
scrapy-redis 使 redis 不止保存 url：https://my.oschina.net/u/4382439/blog/3712637 Scrapy-redis 和 Scrapyd 用法详解：https://zhuanlan.zhihu.com/p/44564597 Scrapy-redis GitHub 地址：https://git...
scrapy-cluster:该Scrapy项目使用Redis和Kafka创建按需分布式抓取集群
05-01
杂乱的集群 该Scrapy项目使用Redis和Kafka创建按需分布式抓取集群。 目标是在许多等待的蜘蛛实例之间分发种子URL，这些蜘蛛实例的请求通过Redis进行协调。 由于边界扩展或深度遍历而导致的任何其他爬网也会在群集中...
scrapy-redis重写spiders.py实现队列获取json_str数据
最新发布
l1648027768的博客
04-28 135
scrapy-redis start_urls --> {"url": "", "callback": "","item": {}}
使用scrapyd部署scrapy_redis爬虫
weixin_42393089的博客
02-13 254
一.为什么要搭建集群 数据库高负载无法面对高并发 数据没有冗余，无法高可用 二.docker的安装 yum -y update yum -y install docker 三.docker的基本操作命令 启动docker命令 service docker start|stop|restart 查找和下载命令 docker search name1 docker pull name1 查看jx ...
scrapy-redis使用记录
的博客
12-23 157
settings中带密码redis配置 REDIS_HOST = ‘ip’ REDIS_PORT = port REDIS_PARAMS = { ‘password’: ‘password’, ‘db’: db } MY_REDIS = ‘redis_key’ 设置下载超时时间 DOWNLOAD_TIMEOUT = 10 redis先进先出 SCHEDULER_QUEUE_CLASS = ‘scrapy_redis.queue.SpiderQueue’ scrapy-redis中以set集合类型提取数据 .
scrapy_redis的简单使用
qq_43405173的博客
08-09 526
scrapy_redis主从机的职责： 主机：安装并开启redis服务， 从机：运行scrapy爬虫，与主机的redis进行交互 以爬取一本小说为例子 首先主机需要安装并开启redis服务（确认可以进行远程连接），这里我用Ubuntu虚拟机充当主机并开启了redis服务（虚拟机的ip为192.168.192.130，端口默认6379），查看redis服务是否开启的命令如下： 然后从机我选用我的windows本机电脑，并安装好了scrapy包和scrapy_redis包 pip install scrapy
scrapy-redis-master_scrapy-redis_juzi1122_scrapy_
10-01
scrapy-redis分布式爬虫框架+示例
redis_rate:go-redis的速率限制
05-13
安装redis_rate支持2个最新的Go版本，并且需要具有支持的Go版本。 因此，请确保初始化Go模块：go mod init github.com/my/repo 然后安装redis_rate / v9（在导入中注意v9 ；忽略它是一个普遍的错误）：go get github...
scrapy_redis-0.6.8-py2.py3-none-any.whl
04-17
scrapy_redis-0.6.8-py2.py3-none-any.whl 使用方式 pip install xx.whl 即可
php_redis-2.2.7-5.6-nts-vc11-x86，php_redis-2.2.5-5.6-ts-vc11-x86
01-19
PHP5.6版本配置Redis扩展文件，区分TS和NTS版本。 具体说明：https://blog.csdn.net/gaofei880219/article/details/86550366
scrapy-redis：Scrapy的基于Redis的组件
02-18
Scrapy-Redis Scrapy的基于Redis的组件。 免费软件：MIT许可证 文档： : 。 Python版本：2.7、3.4+ 特征 分布式抓取/抓取 您可以启动共享单个redis队列的多个蜘蛛实例。 最适合广泛的多域爬网。 分布式后处理 报废的项目将被放入Redis队列中，这意味着您可以启动所需的共享项目队列的后处理流程。 轻巧的即插即用组件 计划程序+复制过滤器，项目管道，基本蜘蛛网。 笔记 此功能涵盖了在多个工作人员之间分配工作负载的基本情况。 如果您需要更多功能，例如URL到期，高级URL优先级设置等，我们建议您看一下项目。 要求 Python 2.7、3.4或3.5 Redis> = 2.8 Scrapy > = 1.1 redis-py > = 2.10 用法 在您的项目中使用以下设置： # Enables scheduling stori
scrapy 插件scrapy-redis 正确用法，秒变分布式
weixin_43746424的博客
07-28 209
scrapy 插件 首先安装 pip install scrapy-redis 然后在 setting.py加上几句话 SCHEDULER = "scrapy_redis.scheduler.Scheduler" STATS_CLASS = "scrapy_redis.stats.RedisStatsCollector" DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" SCHEDULER_PERSIST = True ok，运行起
scrapy-redis分布式爬取 读取redis数据库中内容存储到mongo
weixin_44652892的博客
12-24 841
import json import pymongo from redis import StrictRedis rediscli=StrictRedis(host='192.168.6.223',port=6379,db=0,decode_responses=True) client=pymongo.MongoClient('mongoip',27017) db=client.xixian collention=db.demo while True: source, data = redisc
scrapy-redis
weixin_43580523的博客
05-24 3125
1. 简介 scrapy流程 scrapy-redis scrapy是一个基于redis的scrapy组件，用于快速实现scrapy项目的分布式部署和数据爬取。 组件 Scrapy Engine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。 Scheduler(调度器)：它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。 Downloader（下载器）：负责下载Scra
scrapy-redis中url队列类型的控制(zset、list)
ryuhfxz的博客
01-04 3099
说明：scrapy-redis在进行数据请求是能够实现url的自动保存到redis中，但是保存的数据结构类型是和setting配置文件中的优先级队列的选择挂钩的。 注意：当url的保存类型和url的提取方式不匹配会报错 比如：通过list数据结构的数据提取的方式提取zset中的数据 redis中list的数据提取方式：lpush key redis中zset的数据提取方式：zrange k...
第50讲：Scrapy 部署不用愁，Scrapyd 的原理和使用
菜鸡小白的成长记录
01-19 5015
上节课我们的分布式爬虫部署完成并可以成功运行了，但是有个环节非常烦琐，那就是代码部署。 我们设想下面的几个场景： 如果采用上传文件的方式部署代码，我们首先需要将代码压缩，然后采用 SFTP 或 FTP 的方式将文件上传到服务器，之后再连接服务器将文件解压，每个服务器都需要这样配置。 如果采用 Git 同步的方式部署代码，我们可以先把代码 Push 到某个 Git 仓库里，然后再远程连接各台主机执行 Pull 操作，同步代码，每个服务器同样需要做一次操作。 如果代码突然有更新，那我们必须更新每个服
基于scrapy-redis的分布式爬虫简单使用
qq_44130722的博客
06-27 582
scrapy-redis的简单配置
scrapyd部署分布式爬虫
wojiucaonen的博客
06-28 253
环境安装 使用scrapyd和scrapyd_client进行部署， 过程为用户在客户端使用scrapyd_client将爬虫项目通过命令部署到服务器端scrapyd。 1.服务器端： 安装scrapyd： pip3 install scrapyd 安装完成后，在python/scrips下会有一个scrapy.exe，这时cmd输入scrapyd即可启动服务，在客户端电脑上即可通过ip:680...
scrapyd修改配置
fuck487的博客
07-16 4697
原文：https://segmentfault.com/a/1190000004970228 因为本人使用anaconda管理python库，所以python的库文件都在anaconda目录下 查找scrapyd的路径 find / -name scrapyd 查到两个结果， 一个是scrapyd的执行程序 一个是scrapyd的库文件 修改scrapyd的配置，修改成允许远程...
scrapy-redis分布式爬虫和scrapy-redis主从式区别
04-12
而Scrapy-redis主从式是将爬虫机器分为主节点和从节点，主节点承担调度任务和数据入库等职责，从节点负责数据爬取。简单来说，分布式将任务分散到多个机器上执行，而主从式则是将任务分配给一个主节点来控制。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值