用scrapy创建爬虫项目

创建项目和爬虫:
1.创建项目:`scrapy startproject [爬虫的名字]`
2.创建爬虫:进入到项目所在的路径,执行命令:`scrapy genspider [爬虫名字] [爬虫的域名]注意：爬虫名字不能和项目名称一致

项目目录结构:
1. Items.py:用来存放爬虫爬取下来数据的模型.
2. middlewares.py:用来存放各种中间件的文件。

3. pipelines.py用来将 items的模型存储到本地磁盘中
4. settings.py:本爬虫的一些配置信息(比如请求头、多久发送一次请求、ip代理池等
5. scrap.cfg;目的配置文件
6. spiders包:以后所有的度虫,部是存放到这个里面

 

 JsonItemExporter JsonLinesItemExporter
保存json数据的时候,可以使用这两个类,让操作变得得更简单。
1.`sonItemExporter`:这个是每次把数据添加到内存中。最后统一写入到磁盘中。好处是,存储的数据是一个满足json规则的数据。坏处是如果数据量比较大,那么比较耗内存
2. jsonLinesItemExporter:这个是每次调用 export_item的时候就把这个item存储到硬盘中。坏处是每一个字典是一行,整个文件不是一个满足json格式的文件。好处是每次处理数据的时候就直接存储到了硬盘中,这样不会耗内存,数据也比较安全。