Python爬虫入门——3.8 Scrapy爬虫项目文件介绍

本节我们就使用scrapy框架来编写爬虫程序。

声明：参考资料“ 从零开始学Python网络爬虫  ”作者：罗攀，蒋仟机械工业出版社ISBN：9787111579991

上节我们创建的scrapy项目如下图所示

 

 首先来介绍一下这里面的文件：

1. 最顶层是douban的文件夹
2. 第二层是与项目名同名的文件夹douban以及scrapy.cfg文件.。douban文件夹是包，因为里面含有__init__.py这个文件.scrapy.cfg为项目的配置文件
3. 第三层是5个python文件以及一个spiders文件。spiders也是一个包。     

• items.py的作用定义爬取的字段，其实就是你要爬取的内容的名称，例如价格price，名字name，地址address等
• pipelines.py的作用是爬虫数据的清洗以及入库操作，就是说你爬取到的数据如何处理，是加减运算还是存储到csvsetting.py的作用是对一些爬虫项目的编写，如请求头的填写，设置pipelines.py 处理爬虫数据等                             

      4.第四层是spiders模块下面的2个python文件，DoubanTest.py为新建的文件，用于代码的编写