cmd命令创建python scrapy 项目

scrapy startproject xxx  在当前目录创建以xxx名字的工程

目录结构如下，解释：

scrapy.cfg: 项目配置文件
xxx/: 项目python模块, 呆会代码将从这里导入
xxx/items.py: 项目items文件
xxx/pipelines.py: 项目管道文件
xxx/settings.py: 项目配置文件
xxx/spiders: 放置spider的目录

scrapy genspider name domain        创建一个spider
#如:
#scrapy genspider sohu sohu.org

scrapy list  查看当前项目有多少个爬虫

scrapy view url  使用浏览器打开网页

scrapy shell url shell命令 进入scrapy 交互环境

scrapy runspider 爬虫名  直接运行创建的爬虫，不会运行整个项目

 

转载于:https://my.oschina.net/u/3184096/blog/1529577