前言
保存本地
存储Json数据
配置setting
保存数据库
创建数据库
创建表
编写pipelines
配置setting
本文是对上篇文章所讲的代码进一步优化,回看可以点这里,代码就直接在上一篇代码中进行改造,没有的小伙伴可以在这里下载。
前言
Scrapy 提供了 pipeline 模块来执行保存数据的操作。在创建的 Scrapy 项目中自动创建了一个 pipeline.py 文件,同时创建了一个默认的 Pipeline 类。我们可以根据需要自定义 Pipeline 类,然后在 settings.py 文件中进行配置即可。
保存本地
存储Json数据
找到pipelines.py文件,编写下面代码:
这里用到了json包,如果没有的小伙伴可以直接在命令窗口进行下载,下载代码:
pip install json
1
回到hotel.py文件,将“print(item)”改成“yeild item”
配置setting
打开pipelines通道注释,在里面新增一条我们在pipelines中添加的记录
到这里,代码就已经写好了,下面就运行起来看看。
运行成功后会在目录下多出一个文件出来。如图:
打开可以看看:
就是我们想要的。其实pipelines也是很简单,在新增一个pipelines时,只要重写“process_item”方法就可以了。
保存数据库
创建数据库
使