windows 7 使用 scrapyd 监控 scrapy的 spider

1  首先需要 安装 scrapyd

                  easy_install scrapyd

2  启动 scrapyd:

cd  c:\Python27\Scripts

 python scrapyd  (如果出现 Not a directory 的错误参考 http://blog.csdn.net/changdejie/article/details/18408997)

正常启动，如下图 

3  切换 到 工程目录，编辑 scrapy.cfg，把 #url = http://localhost:6800/ 前面的 #号去掉。

4 在工程目录下的命令行 运行  scrapy deploy -l，如图

5  发布工程，到 scrapyd运行 

scrapy deploy scrapyd -p hm-papers

6 验证是否成功

         scrapy deploy -L scrapyd，如果显示  hm-papers就表示发布成功了。

7 启动爬虫

          curl http://localhost:6800/schedule.json -d project=hm-papers -d spider=test

8  查看任务情况 

          http://localhost:6800/jobs