python之json对象处理

一、json定义

1.1 概念

• JSON：JavaScript Object Notation 【JavaScript 对象表示法】
  JSON 是一种轻量级的数据交换格式，完全独立于任何程序语言的文本格式。一般，后台应用程序将响应数据封装成JSON格式返回。

1.2 基本语法

• JSON的基本语法如下：JSON最常用的格式是对象的键值对：key只能是string, value可以是 object、array、string、number、true/false、null。
• 如下所示：
  {
  “sites”: [
  { “name”:“360” , “url”:“www.360.com” },
  { “name”:“google” , “url”:“www.google.com” },
  { “name”:“baidu” , “url”:“www.baidu.com” }
  ]
  }
  1）键通过双引号包裹，后面跟冒号“：”，然后跟该键的值；
  2）值可以是字符串、数字、数组等数据类型；
  3）对象与对象之间用逗号隔开；
  4）“{}”用来保存对象；
  5）“[]”用来保存数组；

1.3 json跟python中的字典的区别

1）json的key只能是字符串，dict的key可以是任何可hash的对象，例如：字符串、数字、元组等；

2）字典是一种数据结构，json是一种数据格式；字典有很多内置函数，有多种调用方法，而json是数据打包的一种格式，并不像字典具备操作性；

3）json的字符串强制用双引号，dict的字符串可以用单引号、双引号；

一般而言，我们会把json转化为python中的字典或者列表，再对其进行操作。

二、json与python之间的交互

2.1 Python处理json的模块：json

• Pythone3的标准库JSON模块，可以很方便的帮我们进行json数据的转换和处理，这里主要指序列化（json.dumps()、json.dump()）和反序列化（json.loads()、json.load()）。
• 序列化和反序列化：
  将对象转换为可通过网络传输或可以存储到本地磁盘的数据格式（如：XML、JSON或特定格式的字节串）的过程称为序列化；反之，则称为反序列化。
• 常用的JSON模块方法：
  1）json.dumps():将Python中的对象转换为JSON中的字符串对象；
  2）json.dump()：将python对象转换成JSON字符串输出到fp流中；
  3）json.loads():将JSON中的字符串对象转换为Python中的对象；
  4）json.load():读取包含json对象的文件。

带s的都是和字符串相关的，不带s的都是和文件相关的。

2.2 实例

2.2.1 把字典转换成json串

import json
dic = {'name': 'xiaoming', 'age': 29}
json_str = json.dumps(dic)#返回json字符串
print(json_str)
print(type(json_str))
#结果
{"name": "xiaoming", "age": 29}
<class 'str'>		

2.2.2 Python解码JSON对象

import json
json_str ='{"id":"09", "name": "Nitin", "department":"Finance"}'
# Convert string to Python dict
dic = json.loads(json_str)
print(dic)
print(type(dic))
#结果
{'id': '09', 'name': 'Nitin', 'department': 'Finance'}
<class 'dict'>

2.2.3 读取json文件

import json
with open('test.json') as f:
    a = json.load(f)
print(a)
print(type(a))
#结果
{'id': '09', 'name': 'Nitin', 'department': 'Finance'}
<class 'dict'>

2.2.4 写入json文件

import json
dic ={
    "name" : "xiaoming",
    "age" : 20,
    "phonenumber" : "15555555555"
}
with open("test2.json", "w") as outfile:
    json.dump(dic, outfile)

2.3 转换对应关系

2.3.1 Python类型转换JSON类型的对应关系

2.3.2 json类型转换到Python的类型对照表

三、读取后的json解析为python的DataFrame

• pandas.json_normalize函数进行解析，将半结构化JSON数据规范化为平面表。
  
• 代码：

#读取json文件
import pandas as pd
import json
with open('results.json') as f:
    results = json.load(f)

#读取相应的字段
FIELDS = ["key", "fields.summary", "fields.issuetype.name", "fields.status.name", "fields.status.statusCategory.name"]
df = pd.json_normalize(results["issues"])
df[FIELDS]

# 使用路径而不是直接用results["issues"]
pd.json_normalize(results, record_path="issues")[FIELDS]

# 自定义分隔符：用 "-" 替换默认的 "."
#使用sep参数自定义嵌套结构连接的分隔符
FIELDS = ["key", "fields-summary", "fields-issuetype-name", "fields-status-name", "fields-status-statusCategory-name"]
pd.json_normalize(results["issues"], sep = "-")[FIELDS]

#控制递归
#如果不想递归到每个子对象，可以使用max_level参数控制深度。在这种情况下，由于statusCategory.name字段位于JSON对象的第4级，因此不会包含在结果DataFrame中。
# 只深入到嵌套第二级
pd.json_normalize(results, record_path="issues", max_level = 2)