python核心编程:Scrapyd的安装

本文介绍了如何在Linux上安装和配置Scrapyd,用于部署和运行Scrapy项目。通过pip安装Scrapyd,创建配置文件并调整参数,然后使用命令行使其后台运行。此外,还提到了使用Nginx进行访问认证的方法,以及Scrapyd与Docker的结合使用。
摘要由CSDN通过智能技术生成

Scrapyd是一个用于部署和运行Scrapy项目的工具,有了它,你可以将写好的Scrapy项目上传到云主机并通过API来控制它的运行。

既然是Scrapy项目部署,基本上都使用Linux主机,所以本节的安装是针对于Linux主机的。

  1. 相关链接
    GitHub:https://github.com/scrapy/scrapyd
    PyPI:https://pypi.python.org/pypi/scrapyd
    官方文档:https://scrapyd.readthedocs.io
  2. pip安装
    这里推荐使用pip安装,命令如下:
pip3 install scrapyd
  1. 配置
    安装完毕之后,需要新建一个配置文件/etc/scrapyd/scrapyd.conf,Scrapyd在运行的时候会读取此配置文件。

在Scrapyd 1.2版本之后,不会自动创建该文件,需要我们自行添加。

首先,执行如下命令新建文件:

sudo mkdir /etc/scrapyd
sudo vi /etc/scrapyd/scrapyd.conf

接着写入如下内容:

[scrapyd]
eggs_dir    = eggs
logs_dir    = logs
items_dir   =
jobs_to_keep = 5
dbs_dir     = dbs
max_proc    = 0
max_proc_per_cpu = 10
finished_to_keep = 100
poll_interval = 5.0
bind_addr
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值