scrapyd

一、scrapyd介绍

scrapyd是一个用于部署和运行scrapy爬虫的程序，它允许你通过JSON API来部署爬虫项目和控制爬虫运行，scrapyd是一个守护进程，监听爬虫的运行和请求，然后启动进程来执行它们

二、安装scrapyd

1、安装命令

pip install scrapyd

2、启动scrapyd

scrapyd

访问链接，访问不成功 原因：

• 防火墙问题(尝试把防火墙关掉在开启scrapyd服务)

systemctl status firewalld   # 查看防火墙状态


systemctl stop firewalld    # 关闭防火墙


systemctl start firewalld  # 开启防火墙

• 查看scrapyd的配置文件：

  /usr/local/lib/python3.9/site-packages/scrapyd/default_scrapyd.conf

  配置文件选项

3、scrapy.cfg配置文件

[settings]
default = my_spider.settings

[deploy:ms]  # 加:后面