Scrapyd的安装和Gerapy的部署

1.Scrapyd的安装

语句：pip install scrapyd
下载完后可以在Python文件夹中查看
我自己的路径：E:\software\python\python3.8.6\Lib\site-packages\scrapyd
该文件夹下的

default_scrapyd.conf 为Scrapyd的配置文件

比如我们可以将bind_address = 127.0.0.1 更改，默认为本地网访问
改为：bind_address = 0.0.0.0
这样可以用所有IP访问，外部IP也可以访问

• 启动Scrapyd：
  在CMD终端中输入：scrapyd
  
  在浏览器中访问：http://127.0.0.1:6800/
  显示如下则启动成功
  

1.1补充

一

为了预防和解决 scrapyd-deploy不是内部外部命令
需要在Python解释器文件夹下的Scripts
我的路径：E:\software\python\python3.8.6\Scripts
新建两个文件
1.scrapy.bat
2.scrapyd-deploy.bat

更改文件内容：

• scrapy.bat内容如下：

@echo off 
E:\software\python\python3.8.6\python E:\software\python\python3.8.6\Scripts\scrapy %* 

• scrapyd-deploy.bat文件内容如下：

@echo off 
"E:\software\python\python3.8.6\python.exe" "E:\software\python\python3.8.6\Scripts\scrapyd-deploy" %*

二

若出现转义错误，则打开scrapyd下的utils.py文件
我的路径：E:\software\python\python3.8.6\Lib\site-packages\scrapyd

140行左右改为如下，
将原本的tmp = out.decode('utf-8').splitlines();注释

添加代码：

    if isinstance(out, bytes):
        tmp = out.decode('utf-8').splitlines();
    else:
        tmp = out.splitlines();

2.Gerapy使用

安装：pip install gerapy
若安装成功，可以在终端输入语句进行尝试：gerapy

gerapy创建流程：

• gerapy的初始化
  在需要创建gerapy的路径下：gerapy init
  会生成一个gerapy文件夹
• cd gerapy
• 生成一个SQLite数据库，数据库保存主机配置信息和部署版本等：gerapy migrate
• 启动gerapy服务： gerapy runserver
  在本机浏览器的http://127.0.0.1:8000查看
• 创建超级用户：.gerapy createsuperuser
  便于管理和进入gerapy（创建后要重新启动gerapy服务器）