爬虫之 json 数据处理

一、什么是 json

JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。
JSON与XML格式算是如今互联网时代最常用的两种数据格式了，随着大数据时代的到来，JSON数据格式正在快速崛起，如今，即使XML也不能与JSON争锋，如果你经常与网络打交道的话，JSON数据格式是你一定要掌握的。

二、json 有四个方法供我们进行数据转换:

mydict = {'name': 'xiaoming', 'age': 18}
#json.dumps 实现python类型转化为json字符串
json_str = json.dumps(mydict)   

#json.loads 实现json字符串转化为python的数据类型
my_dict = json.loads(json_str)

#json.dump 实现把python类型写入类文件对象
with open("temp.txt","w") as f:
    json.dump(mydict,f,ensure_ascii=False,indent=2)

# json.load 实现类文件对象中的json字符串转化为python类型
with open("temp.txt","r") as f:
    my_dict = json.load(f)

三、json 的作用

Json在数据交换中起到了一个载体的作用，承载相互传递的数据

四、引入 json 包：将json数据转换为字典打印显示

如果 爬取网页返回对象是 json 类型

有时直接打印html的结果为：

print(html)
print(type(html))
#{"type":"ZH_CN2EN","errorCode":0,"elapsedTime":2,"translateResult":[[{"src":"我喜欢python","tgt":"I like python"}]]}
#str

这里html实际上是一个 json 格式的字符串
JSON是一种轻量级的数据交换格式，说白了这里就是用字符串把Python的数据结构封装起来
所以只需要解析这个JSON格式的字符串即可

import json
target=json.loads(html)
type(target)
#<class 'dict'>

可以看到通过json将其转换成了字典，接下来才能输出我们需要显示的内容

五、引入 json 包：将字典转换为json数据存储

def write_file(board):
    print('开始写入数据 ==>' + str(board))
    with open('book.txt','w',encoding='utf-8') as f:
        f.write(board)

board 这里是一个字典格式的数据，直接写入文件会出错，因为只由字符串才能调用 write 方法

所以可以借助 json 用字符串将字典封装起来】

def write_file(board):
    print('开始写入数据 ==>' + str(board))
    with open('book.txt','w',encoding='utf-8') as f:
        f.write(json.dumps(board,ensure_ascii=False) + '\n')