RUN__IT # scrapyd爬虫部署操作

1.scrapyd爬虫部署操作

   1. 服务端安装  pip install scrapyd 
   2. 客户端安装  pip install scrapyd-client

   3. 服务端 有个设置文件 :conf配置文件  bind_address = 0.0.0.0; 允许所有的IP访问
   4. 项目配置: 

            原始样子
            [deploy]
            #url = http://localhost:6800/
            project = Tencent

            设置之后
            [deploy:scrapyd_Tencent]
            url = http://localhost:6800/
            project = Tencent


    5. 开启服务 scrapyd
    6. 发布爬虫的项目
         6.1 cd  到爬虫项目 的路径
         6.2 部署
         scrapyd-deploy scrapyd_Tencent -p Tencent

    7.开启爬虫
    curl http://localhost:6800/schedule.json -d project=BOOK -d spider=book_redis
    curl http://localhost:6800/schedule.json -d project=BOOK -d spider=book_redis


    8.关闭爬虫                      
     curl http://localhost:6800/cancel.json -d project=BOOK -d job=0c46dddc0be311e9baefacbc329a1151		
     curl http://localhost:6800/cancel.json -d project=BOOK -d job=48bdefe6e59411e8a4d0acbc329a1151		

        
     监控爬虫: 1.数据多少,2. 反爬问题 异常  3. 结束了
          1. 读取 个数  2. log