scrapyd部署scrapy

部署scrapy可以使用scrapyd，通过在客户端安装scrapyd-client，服务端安装scrapyd，可以使用命令将scrapy推到服务器上进行爬虫，对服务器端不需要过多的配置，只需要保证1.scrapyd处于运行状态，2.scrapy需要的模块全部安装

服务端操作(Centos7.2服务器)

1. 通过命令pip3 install scrapyd安装，由于pip会将模块自动安装到python下
2. 进入目录/usr/local/python3.5.2/lib/python3.5/site-packages/scrapyd
3. 修改配置default_scrapyd.conf

[scrapyd]
eggs_dir    = eggs
logs_dir    = logs
items_dir   =
jobs_to_keep = 5
dbs_dir     = dbs
max_proc    = 0
max_proc_per_cpu = 4
finished_to_keep = 100
poll_interval = 5.0
bind_address = 0.0.0.0  #允许远程访问
http_port   = 6800
debug       = off
runner      = scrapyd.runner
application = scrapyd.app.application
launcher    = scrapyd.launcher.Launcher
webroot     = scrapyd.website.Root
[services]
schedule.json     = scrapyd.webservice.Schedule
cancel.json       = scrapyd.webservice.Cancel
addversion.json   = scrapyd.webservice.AddVersion
listprojects.json = scrapyd.webservice.ListProjects

保存之后就可以启动scrapyd了

4. 进入目录/usr/local/python3.5.2/bin
5. 使用命令 setsid scrapyd以后台的模式启动scrapyd，到此，服务端就配置好了。

客户端操作(Mac开发机)

1. 此时通过客户端浏览器访问0.0.0.0:6800应该是可以访问到爬虫的可视化界面的
2. 直接通过pip3 install scrapyd-client安装
3. 修改要上传的scrapy项目，修改scrapy.cfg，首先去掉url前面的注释符号，url是scrapyd服务器的网址

4. 然后project=tenCent为项目名称，可以随意起名
   效果如下：

   
   
   

   image.png
   
   

   接下来就是一系列的json请求操作了

scrapyd-deploy <target> -p <project>  --version <version>

Target：deploy后面的名称。可以为空
Project：自行定义名称，跟爬虫的工程名字无关。
Version：自定义版本号，不写的话默认为当前时间戳。

curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider_name

创建运行爬虫任务