Scrapy爬虫部署

远端部署

1、配置服务器的python环境

• 安装pip3：sudo apt install python3-pip
• 安装scrapy：pip3 install scrapy -i https://pypi.douban.com/simple/
  • 如果安装失败添加以下依赖：
  • sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
• 安装scrapyd: pip3 install scrapyd
• 安装scrapyd-client: pip3 install scrapyd-client
• 添加爬虫运行的三方库：
  • pip3 install requests
  • pip3 install pymysql
  • pip3 install pymongodb

2、修改scrapyd的配置文件，允许外网访问

• Linux查找配置文件的路径：find -name default_scrapyd.conf
• 修改配置文件: sudo vim 路径
• 将路径bind-address修改为0.0.0.0允许全网访问

3、配置安全组

• 进入服务器安全组选项添加安全组

• 添加成功后，点击修改规则，添加如下信息(配置目的:允许访问6800端口)
  

• 完成后返回到云主机菜单，找到配置安全组菜单，跟换为刚才添加的安全组
  

• 最终完成后，在浏览器中输入ip地址和端口,显示如下图，说明配置成功

4、将爬虫项目部署到服务器

• 首先需要修改scrapyd.egg (项目的配置文件)

  [deploy]
   url = http://服务器的外网ip : 端口号
    project=项目名称
  

5、项目部署

• scrapyd-deploy -p <项目名称>
• 也可以指定版本号： scrapyd-deploy -p <项目名称> --version <版本号>