scrapy 部署爬虫

      纯属笔记

scrapy部署爬虫项目:

         功能:用于将自己本地的爬虫代码,打包上传到服务器上,让这个爬虫在服务器上运行,可以实现对爬虫的远程管理(远程启动,远程关闭,远程查看日志)

服务器scrapyd的安装

 

•         pip install scrapy
•  
• scrapyd 提供一个客户端工具,就是scrapy-client使用这个工具对scrapyd这个访问进行操作
•  
  • scrapy-client 下载地址 : https://github.com/scrapy/scrapyd-client,解压安装包  进行入文件夹中中执行 python set.up install
  •  
  • 注意: 服务器scrapy(==1.2)和客户端scrapy-client(==1.1)安装的版本一定要保持一致
• 服务器和客户端安装好之后, 可以启动scrapyd这个服务了. 服务启动之后  不要关闭
•  
  • 服务127.0.0.1:6800  查看scrapyd是否启动成功
  •  
  • scrapy爬虫项目    修改scrapy.cfg文件 里的   deploy:name  (部署的服务器的名称,因为可能会部署到多个服务器上,所以需要给服务器设置别名来区分)
  •  
  • 解注释  url  = http://localhost:6000/
• 打开一个新的cmd窗口
•  
  • 输入   scrapyd-deploy  查看scrapyd-client 是否能正常使用     (unknown target : default)

  •  

  • scrapyd-deploy -l       (scrapy.cfg添加的名称)
  •  
  • 输入  scrapyd-dep