Gerapy部署爬虫

1.先安装pipinstall gerapy

 

1. 初始化gerapy init  

会在当前目录下创建一个gerapy文件 里面有一个projects文件夹用于存放要部署的 scrapy文件,可以放置多个文件等待调度

1. Cd gearpy 目录下
2. 运行  创建数据库 gerapy migrate

在当前目录下创建了sqlite.db数据库

1. 需要创建账号 gerapy createsuperuser

 

输入账号名 邮件号 密码

1. 运行 gerapy runserver

 

1. 浏览器输入 http://127.0.0.1:8000/

 

1. 放入scrapy部署文件到projects 点击项目管理

在这里可以编辑项目，也可以部署项目，部署前需要先打包。

 

1. 配置主机

重启cmd 打开scrapyd服务器

部署爬虫到服务器

 

1. 点击调度：

点击运行：相当于scrapy craw project_name