python爬虫框架scrapy思路总结

文章旨在以小实例引导初学者理清这个号称写爬虫就如做填空题的scrapy爬虫框架的空该怎么填，比喻不当之处，欢迎指正！

一、理清框架各个模块的脉络关系

 一个完整的项目设计四个python文件的编写，分别是items.py、wuhanSpider.py（scrapy genspider wuHanSpider jycinema.com后生成，非系统自带）、settings.py、pipelines.py

四个文件对应2个HOW、1个what、1个who,即是

items-->how :定义要爬取哪些项目（取个要爬取的内容的名字）

wuhanSpider.py->HOW :阐述怎么爬取，即怎么从html代码中取数据

settings-->who:定义由谁保存经处理后的爬取的内容，一般是由pipelines模块中的一个类

pipelines->HOW:怎样去保存爬取到的内容，是导出到txt文件呀?还是数据库呀？等等

二、具体四个文件要写哪些代码：