Scrapy爬虫项目——阿里文学&当当网

1. Cmd命令行创建项目

创建项目命令：

scrapy startproject [项目名]

Items定义要爬取的东西；spiders文件夹下可以放多个爬虫文件；pipelines爬虫后处理的文件，例如爬取的信息要写入数据库；settings项目设置

2. Scrapy常用模板

Scrapy-般通过指令管理爬虫项目，常用的指令有:

（1） startproject创建爬虫项目

basic基础模板（最常用）；crawl通用爬虫模板；csvfeed爬取csv格式的模板；xmlfeed爬取xml格式的模板

（2） genspider -I查看爬虫模板

（3）genspider -t模版爬虫文件名域名创建爬虫

（4）crawl运行爬虫

（5）list查看有哪些爬虫

3. Scrapy爬虫编写基础

编写一个Scrapy爬虫项目，一般按照如下流程进行:

（1） 创建爬虫项目

（2） 编写items

（3） 创建爬虫文件

（4） 编写爬虫文件</