有关爬虫在linux下的部署

1.启动scrapyd的服务：scrapyd（必须处于开启状态）

 

2.另开一个终端，进入爬虫目录：

　　编写配置：vi scrapy.cfg ，进入scrapy.cfg后，在[deploy]里面加入名字，如：[deploy:news]，

再将url前面的#,去掉。保存退出（按Esc后输入冒号   :   ,写入wq!）。

 

3.进入到scrapy项目根目录，执行：scrapyd-deploy <target> -p <projectname> ,<target>值为在[deploy]里面加入名字，<projectname>值为根目录的名字

如：scrapyd-deploy news -p Scrapyzhangxinxu

 

4..启动爬虫

（命令式启动爬虫：curl http://localhost:6800/schedule.json -d project=（根目录的名字） -d spider=（爬虫的名字））

 

转载于:https://www.cnblogs.com/with-python/p/11134637.html