scrapy框架的基本命令

scrapy startproject 项目名 创建一个scrapy项目

cd ./项目名

scrapy genspider 爬虫名 域名 创建一个爬虫

scrapy genspider -t crawl 爬虫名 域名 创建一个crawlspider爬虫

创建好项目以及爬虫后，首先编辑items.py文件设置好要爬取的字段，然后根据需求修改setting.py文件中的配置，然后在编辑爬虫名.py文件开始编写爬虫代码。

scrapy crawl 爬虫名 启动爬虫

scrapy crawl 爬虫名 -o xx.csv 启动爬虫并把结果存储到xx.csv文件