scrapyd windows环境下安装和使用

最新推荐文章于 2024-08-10 07:14:45 发布

JLaiRen

最新推荐文章于 2024-08-10 07:14:45 发布

阅读量2.4k

点赞数 1

文章标签： scrapyd运行

本文链接：https://blog.csdn.net/JLaiRen/article/details/82902321

版权

本文详细介绍了在Windows上安装和配置Scrapyd服务的过程，包括使用pip安装Scrapyd、启动和关闭服务、安装scrapyd-client模块、创建scrapyd-deploy.bat文件、设置scrapy.cfg、打包和部署Scrapy项目到Scrapyd，以及如何通过API进行项目管理和爬虫操作。此外，还提供了几个关键的API请求URL以供参考。

摘要由CSDN通过智能技术生成

scrapyd安装

打开命令行工具输入
命令：pip install scrapyd
在这里插入图片描述
##启动scrapyd服务

在浏览器中输入127.0.0.1:6800
如图启动成功

关闭服务，新建一个文件夹(名字自定义但是建议起名与scrapyd有关系，方便记忆)，进入该文件夹，在该路径下打开命令行工具，输入：scrapyd 命令并执行会多出一个abs的空文件夹，用来存放爬虫项目的数据文件。
如图：
安装scraoyd-client模块
简介:这个模块是专门用来打包scrapy爬虫的项目到scrapyd中。
安装过程：
(1).进入安装scraoyd的环境
(2).打开命令行工具执行命令：pip install scrapyd
(3).安装完后会在scrapyd中出现scrapyd-deploy，这个sc