gerapy+scrapyd部署（scrapy可视化web管理）【基于python3搭建scrapy可视化管理】

gerapy是基于scrapyd的可视化管理平台

类似的可视化管理凭条还有很多，但是都需要先用scrapyd打包scrapy项目

一，搭建scrapyd服务

• 首先我们要有scrapy项目，项目目录如下图

        a,先安装scrapyd所需要的包

pip install scrapyd  # 服务端
pip install scrapyd-client  # 客户端

      b,修改scrapy项目配置，找到项目根目录下的scrapy.cfg的文件

修改内容如下

c，将scrapyd-deploy文件复制到scrapy.cfg相同目录

d，检查项目配置，到项目下，在scrapy.cfg相同目录下，在未选中文件的状态下，按住Shift键，点击鼠标右键，在弹出才选型中找到“在此处打开powershell窗口”并点击，在弹出的命令行窗口输入如下内容：

python scrapyd-deploy -l   # -l是字母“L”的小写形式，不是数字 1，也不是大写字母I

此时会报错提示，“。。。。。”

我们打开scrapyd-deploy文件，找到“from scrapy.utils.http import basic_auth_header”，将此行注释掉，
并添加"from w3lib.http import basic_auth_header"，达到替换的目的

我们再回到命令函窗口中执行刚才的命令“python scrapyd-deploy -l ”,看到如下图

如上图就表示我们的配置没有问题。

e，接下来我们先启动scrapyd服务，（如果已经在远程服务器上启动scrapyd服务并在scrapy.cfg中配置相应地址的忽略此步骤）

同样，在任意路径打开一个新的命令行窗口(必须在项目录下启动服务)，输入“scrapyd”并回车，如下图

如上图说明scrapyd服务已经启动【启动之后不要关！启动之后不要关！启动之后不要关！】。

 

二，将项目部署到gerapy上进行管理

1，先安装gerapy

pip install gerapy

2,检测是否安装成功，如下说明安装成功，否则重新安装

3，新建文件，进入建好的文件夹，打开命令行窗口,初始化 gerapy 配置，输入如下指令

gerapy init

如下图

4，进入gerapy目录下，[提示：有两个目录，project目录就是放我们打包好的scrapy项目整体] ，初始化 gerapy 的数据库，在刚才的命令行窗口中输入“gerapy migrate”,如下图

5，创建gerapy超级用户，这里不创建的话，第一次无法访问web页面，创建用户指令

# gerapy initadmin  # 这是初始化用户，账号密码都是admin,这样一般用在测试环境中
gerapy createsuperuser  # 创建自定义账号

如图

6，启动 gerapy 服务，输入

gerapy runserver 0.0.0.0:8000 # 在本地也可以直接 gerapy ruserver 就行

如图

7，打开浏览器访问“http://127.0.0.1:8000/”，

如图

8，登陆进去之后，点击左边“主机管理”，再点右边“创建”，

将scrapyd服务器地址配置到这里

创建之后如图

9，将scrapy项目放到 "/gerapy/project/" 下

再到浏览器刷新，点击左边的“项目管理”，发现我们的项目进来了

10，在gerapy中再次打包项目，在上图的页面中，点击“部署”

11，部署项目

12，部署成功之后，我们就可以手指点一点，就可以启动项目了

我们还可以设置定时任务

至此分享完结。

如需转载，请注明转自哪里