scrapyd部署_Scrapyd+Gerapy部署Scrapy爬虫进行可视化管理

Scrapyd安装:

#服务端
pip install scrapyd  
#客户端
pip install scrapyd-client

打开命令行，输入scrapyd

访问127.0.0.1:6800即可看到可视化界面

部署scrapy项目

在scrapy项目目录下，有一个scrapy.cfg的配置文件：

demo 项目名

project 工程名

windows环境下配置：

到python虚拟环境下找到 Scripts/scrapyd-deploy

新建scrapyd-deploy.bat

@echo of

"E:python_venvenvTestScriptspython.exe" "E:python_venvenvTestScriptsscrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9

注意修改成自己电脑python的环境

然后，进入到我们爬虫的根目录，运行scrapyd-deploy

scrapyd-deploy 项目名 -p 工程名

到这里我们的scrapy 项目就部署完成了。

注意scrapyd服务端的要开启

Gerapy安装

pip install gerapy
gerapy init
cd gerapy
gerapy migrate

在命令行中输入gerapy init，执行完毕后在当前目录下会生成一个名称为gerapy的文件夹，随后进入该文件夹，下输入gerapy migrate ，成功后在gerapy目录下生成一个sqlite数据库

创建管理员用户

gerapy createsuperuser

运行gerapy

gerapy runserver

访问 http://127.0.0.1:8000/ 就可以看到可视化管理界面

连接scrapyd 主机

scrapy项目上传

将写好的爬虫项目复制到gerapy下面的project中