RUN__IT # 爬虫gerapy的部署

爬虫部署

scrapyd

1. 服务端安装  pip install scrapyd 
   2. 客户端安装  pip install scrapyd-client

   3. 服务端 有个设置文件 :conf配置文件  bind_address = 0.0.0.0; 允许所有的IP访问
   4. 项目配置: 

            原始样子
            [deploy]
            #url = http://localhost:6800/
            project = Tencent

            设置之后
            [deploy:scrapyd_Tencent]
            url = http://localhost:6800/
            project = Tencent
            
            
 5. 开启服务 scrapyd
    6. 发布爬虫的项目
         6.1 cd  到爬虫项目 的路径
         6.2 部署
         scrapyd-deploy scrapyd_Tencent -p Tencent

    7.开启爬虫
    curl http://localhost:6800/schedule.json -d project=BOOK -d spider=book_redis
    curl http://localhost:6800/schedule.json -d project=BOOK -d spider=book_redis


    8.关闭爬虫                      
     curl http://localhost:6800/cancel.json -d project=BOOK -d job=0c46dddc0be311e9baefacbc329a1151		
     curl http://localhost:6800/cancel.json -d project=BOOK -d