scrapy部署

相关的中文文档地址

https://scrapyd.readthedocs.io/en/latest/

安装

pip3 install scrapyd

pip3 install scrapyd-client

检查安装是否成功

scrapyd-deploy -h

修改scrapy项目目录下的scrapy.cfg配置文件

[deploy]

url=http://localhost:6800

project=项目名称

本地部署

项目部署相关命令： 注意这里是项目的名称而不是工程的名称

scrapyd-deploy -p <项目名称>

也可以指定版本号

scrapyd-deploy -p <项目名称> --version <版本号>

爬虫运行相关命令

https://scrapyd.readthedocs.io/en/latest/api.html

远端部署

• 在终端登录服务器
• 配置项目运行环境

  • 配置python环境(ubuntu自带python3环境))

  • 安装pip3：sudo apt install python3-pip

  • 安装scrapy：pip3 install scrapy -i https://pypi.douban.com/simple/

  • 如果安装失败添加如下依赖：

    sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
    

  • 安装scrapyd: pip3 install scrapyd

  • 安装scrapyd-client: pip3 install scrapyd-client

  • 添加爬虫运行的三方库：

    • pip3 install requests
    • pip3 install pymysql
    • pip3 install pymongodb
    • …
• 修改scrapyd的配置文件，允许外网访问
  • 查找配置文件的路径：find -name default_scrapyd.conf
  • 修改配置文件: sudo vim 路径
    
    
• 要去服务器安全组配置
  • 进入服务安全组选项添加安全组

• 添加成功后，点击修改规则，添加如下信息(配置目的:允许访问6800端口)

• 完成后返回到云主机菜单，找到配置安全组菜单，跟换为刚才添加的安全组

• 最终完成后，在浏览器中输入ip地址和端口,显示如下图，说明配置成功
  

• 最后部署爬虫项目到服务器
  首先需要修改scrapyd.egg (项目的配置文件)

  [deploy]
  
  url = http://118.24.255.219:6800
  
  project=项目名称