如何使用scrapyd部署爬虫项目

本文详细介绍了如何使用scrapyd作为服务器部署和管理爬虫项目,包括scrapyd的安装、scrapyd-client的下载与使用、项目打包上传、通过API接口查看和控制爬虫,以及如何处理项目更新和取消任务的操作。
摘要由CSDN通过智能技术生成

功能:相当于一个服务器,用于将自己本地的爬虫代码,打包上传到服务器上,让这个爬虫在服务器上运行,可以实现对爬虫的远程管理。(远程启动爬虫、关闭爬虫、查看爬虫的一些日志)

1.scrapyd的安装:在cmd中,输入指令

pip install scrapyd

2.安装服务与客户端

a>scrapyd提供了一个客户端工具,就是scrapyd-client,使用这个工具对scrapyd这个服务进行操作,比如:向scrapyd服务打包上传项目。scrapyd-client类似于redis-cli.exe、MongoDB数据库的client。
scrapyd-client下载地址:https://github.com/scrapy/scrapyd-client

b>pip install scrapyd-client=1.2.0a1

注意:服务端scrapyd(默认版本1.2)和客户端scrapyd-client(默认版本1.1)安装的版本一定要一致

3.安装完服务与客户端之后,启动scrapyd,直接在cmd中输入scrapyd就可以启动了,服务启动之后不要关闭cmd窗口

然后打开浏览器访问网址127.0.0.1:6800,出现以下页面表示成功启动scrapyd服务:

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值