python爬虫自学宝典——使用json导出信息

前文回顾
仅仅在控制台打印信息是不够的，程序即可以将这些信息保存到文件中，也可以将这些信息写入数据库中，下面将这些信息导入json文件中。
json文件即JavaScript object notation，JavaScript对象符号，用来各种程序之间的数据交互。更多json信息，请点击：json介绍以及python中json支持
scrapy项目使用pipeline处理被爬取信息的持久化操作，因此程序只要修改pipeline.py文件即可。程序原来只是打印item对象所包含的信息，现在应该把item对象中的信息存入文件中。

一、编辑文件

打开pipeline.py文件，修改其文件内容如下：

# -*- coding: utf-8 -*-
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
import json
class DemoPipeline(object):
# def process_item(self, item, spider):
	# print("Blogs's name:"+item['name'])
	# print("The number of blogs' redding:"+item['red_number'])
	# print("The date of blogs' publish:",item['publish_date'])
  def __init__(self):
    self.json_file = open("./demo.json","wb+")
  def close_spider(self,spider):
    print('————————————————————关闭文件——————————————————————')
    self.json_file.close()
  def process_item(self, item, spider):
    text = json.dumps(dict(item),ensure_ascii=False)+"\n"
    self.json_file.write(text.encode("utf-8"))

一、在构造函数中，在项目目录下创建一个文件demo.json，以二进制的方式写，为的是可以写任何东西。比如音乐啊，图片啊，视频啊之类的，方便以后读的时候，读出来的是原本的东西。如果以字符格式写，只能写文本了，意义不大。
二、重写close_spider(self,spider)函数，此函数在执行完数据爬取后调用，通俗易懂就是虫子快死的时候执行。
三、重写了process_item(self,item,spider)函数，虫子的主体，也是写入文件的代码段。其中运用dict()函数，将读取的信息，转换成字典，其实item本身就是一个字典。利用json.dumps()函数将字典转换成字符串，以方便输入到文件中。text.encode(“utf-8”)函数表示，将text字符串以utf-8格式编码。

二、查看执行结果

总结

本章很简单，无非就是修改pipeline.py文件而已，没什么好说的。
欲知后事如何，且听下回分解。