Python之json模块

Python开发实用教程

JSON (JavaScript Object Notation)，由 RFC 7159 (它取代了 RFC 4627) 和 ECMA-404 指定，是一个受 JavaScript 的对象字面值句法启发的轻量级数据交换格式。JSON独立于编程语言的文本格式来存储和表示数据，现在大部分的数据传输基本使用的都是json格式，经常要从json里面拿到自己想要的数据也就是解析json，python提供了工具帮助我们解析json。

json简介

json就是一串表达数据的字符串，字符串有一定的语法规则约束：

• json表达的数据是键值数据，与python中的dict十分相识；
• 数据项之间使用逗号分割；
• 使用斜杆来转义\字符
• 数据项的值支持整数、浮点数、字符串、逻辑值，null等
• 数据项的值支持数组，数组数据使用中括号括起来
• 多个数据项可以组合成一个对象，对象数据使用大括号括起来。

{
    "name": "Kamishiro Rize",
    "age": 22,
    "occupation": "firefighter",
    "traits": [
        "Eagle Eyed",
        "Fast Healer",
        "High Thirst",
        "Hearty Appetite"
    ]
}

JSON 与 Python 的数据结构和对应关系如下：

JSON	Python
object	dict
array	list,tuple
string	str,unicode
number (int)	int, long
number (real)	float
true	True
false	False
null	None

解析json

json.loads(s, *, cls=None, object_hook=None, parse_float=None, parse_int=None, parse_constant=None, object_pairs_hook=None, **kw)

将字符串解析为python对象

参数说明：

• s：一个包含 JSON 文档的 str, bytes 或 bytearray 对象
• cls：解析器，默认是JSONDecoder ，也可以使用自定义的JSONDecoder子类作为解析器
• object_hook 是一个将附带任意已解码的对象字面值 (即 dict) 来调用的可选函。object_hook 的返回值会代替 dict 使用。 此特性可被用于实现自定义解码器 (例如 JSON-RPC 的类型提示)。
• object_pairs_hook 是一个可选的函数，它会被调用于每一个有序列表对解码出的对象字面量。 object_pairs_hook 的返回值将会取代原本的 dict 。这一特性能够被用于实现自定义解码器。如果 object_hook 也被定义， object_pairs_hook 优先。
• parse_float ，如果指定，将与每个要解码 JSON 浮点数的字符串一同调用。默认状态下，相当于 float(num_str) 。可以用于对 JSON 浮点数使用其它数据类型和语法分析程序 （比如 decimal.Decimal ）。
• parse_int ，如果指定，将与每个要解码 JSON 整数的字符串一同调用。默认状态下，相当于 int(num_str) 。可以用于对 JSON 整数使用其它数据类型和语法分析程序 （比如 float ）。
• parse_constant ，如果指定，将要与以下字符串中的一个一同调用： '-Infinity' ， 'Infinity' ， 'NaN' 。如果遇到无效的 JSON 数字则可以使用它引发异常。

import json

jsonstr = '{ \
    "name": "Kamishiro Rize",\
    "age": 22,\
    "occupation": "firefighter",\
    "traits": [\
        "Eagle Eyed",\
        "Fast Healer",\
        "High Thirst",\
        "Hearty Appetite"\
    ]\
}'

# print(jsonstr)
jo = json.loads(jsonstr)
print(type(jo))
print(jo)

‘’'
<class 'dict'>
{'name': 'Kamishiro Rize', 'age': 22, 'occupation': 'firefighter', 'traits': ['Eagle Eyed', 'Fast Healer', 'High Thirst', 'Hearty Appetite']}
‘''

上面的例子可以看出，json字符串被解析为一个dict的对象。具体json是如何解析的，是由JSONDecoder来实现的。

解码器JSONDecoder

class json.JSONDecoder(*, object_hook=None, parse_float=None, parse_int=None, parse_constant=None, strict=True, object_pairs_hook=None)

解码器的参数和解析函数的参数大部分相同，相同的部分含义也一致。

默认情况下，解码执行以下翻译:

JSON	Python
object -- 对象	dict
array	list
string	str
number (int)	int
number (real)	float
true	True
false	False
null	None

它还将“NaN”、“Infinity”和“-Infinity”理解为它们对应的“float”值，这超出了JSON规范。

主要的方法有：

decode(s)

解析s，如果给定的 JSON 文档无效则将引发 JSONDecodeError。

raw_decode(s)

从 s 中解码出 JSON 文档（以 JSON 文档开头的一个 str 对象）并返回一个 Python 表示形式为 2 元组以及指明该文档在 s 中结束位置的序号。
这可以用于从一个字符串解码JSON文档，该字符串的末尾可能有无关的数据。

解析json文件

json.load(fp, *, cls=None, object_hook=None, parse_float=None, parse_int=None, parse_constant=None, object_pairs_hook=None, **kw)

对json文件fp进行解析（fp对象要支持read()方法），其他参数与loads完全一致。

生成json

json.dumps(obj, *, skipkeys=False, ensure_ascii=True, check_circular=True, allow_nan=True, cls=None, indent=None, separators=None, default=None, sort_keys=False, **kw)

将一个python对象生成json的str对象。

参数说明：

• obj：待生成json串的python对象；
• skipkeys：如果 skipkeys 是 true （默认为 False），那么那些不是基本对象（包括 str, int、float、bool、None）的字典的键会被跳过；否则引发一个 TypeError。
• ensure_ascii：如果 ensure_ascii 是 true （即默认值），输出保证将所有输入的非 ASCII 字符转义。如果 ensure_ascii 是 false，这些字符会原样输出。
• check_circular：如果 check_circular 为假值 (默认值: True)，那么容器类型的循环引用检查会被跳过并且循环引用会引发 RecursionError (或者更糟的情况)。
• allow_nan：如果 allow_nan 是 false（默认为 True），那么在对严格 JSON 规格范围外的 float 类型值（nan、inf 和 -inf）进行序列化时会引发一个 ValueError。如果 allow_nan 是 true，则使用它们的 JavaScript 等价形式（NaN、Infinity 和 -Infinity）。
• cls：默认使用编码器JSONEncoder，也可以指定自己定义的JSONEncoder子类作为编码器进行个性化编码。
• indent：如果 indent 是一个非负整数或者字符串，那么 JSON 数组元素和对象成员会被美化输出为该值指定的缩进等级。 如果缩进等级为零、负数或者 ""，则只会添加换行符。 None (默认值) 选择最紧凑的表达。 使用一个正整数会让每一层缩进同样数量的空格。 如果 indent 是一个字符串 (比如 "\t")，那个字符串会被用于缩进每一层。
• separators：当被指定时，separators 应当是一个 (item_separator, key_separator) 元组。当 indent 为 None 时，默认值取 (', ', ': ')，否则取 (',', ': ')。为了得到最紧凑的 JSON 表达式，你应该指定其为 (',', ':') 以消除空白字符。
• default：当 default 被指定时，其应该是一个函数，每当某个对象无法被序列化时它会被调用。它应该返回该对象的一个可以被 JSON 编码的版本或者引发一个 TypeError。如果没有被指定，则会直接引发 TypeError。
• sort_keys：如果 sort_keys 是 true（默认为 False），那么字典的输出会以键的顺序排序。

import json

# python object(dictionary) to be dumped
dict1 ={
    "emp1":{
        "name":"Lisa",
        "designation":"programmer",
        "age":34,
        "salary":54000.01
    },
    "emp2":{
        "name":"Elis",
        "designation":"Trainee",
        "age":24,
        "salary":40000.00
    },
}
jdict1 = json.dumps(dict1)
print(jdict1)
jdict1 = json.dumps(dict1, indent = 6)
print(jdict1)

‘’'
{"emp1": {"name": "Lisa", "designation": "programmer", "age": 34, "salary": 54000.01}, "emp2": {"name": "Elis", "designation": "Trainee", "age": 24, "salary": 40000.0}}
{
      "emp1": {
            "name": "Lisa",
            "designation": "programmer",
            "age": 34,
            "salary": 54000.01
      },
      "emp2": {
            "name": "Elis",
            "designation": "Trainee",
            "age": 24,
            "salary": 40000.0
      }
}
‘''

编码器JSONEncoder

class json.JSONEncoder(*, skipkeys=False, ensure_ascii=True, check_circular=True, allow_nan=True, sort_keys=False, indent=None, separators=None, default=None)

用于Python数据结构的可扩展JSON编码器。

默认支持以下对象和类型：

Python	JSON
dict	object -- 对象
list, tuple	array
str	string
int, float, int 和 float 派生的枚举	数字
True	true
False	false
None	null

除了上面这些类型，JSONEncoder不支持自定义的类型，需要自己写基于上面这个编码器的子类。

主要方法：

default(o)

 在子类中实现这种方法使其返回 o 的可序列化对象，或者调用基础实现（引发 TypeError ）。 

encode(o)

返回 Python o 数据结构的 JSON 字符串表达方式。

iterencode(o)

编码给定对象 o ，并且让每个可用的字符串表达方式。

import json

class Base:
    def __init__(self, id, desc):
        self.id = id
        self.desc = desc

    def foo(self):
        print(f'Base {self.id=}, {self.desc=}')

IDSTART = 1100001

class Teacher(Base):
    def __init__(self, name, course):
        self.name = name
        self.course = course

class Student(Base):
    def __init__(self, name, age):
        self.name = name
        self.age = age
        self.score = {'Chinese':90, 'Math':95, 'English':90}
        self.tearchers = [Teacher('Chen', 'Chinese'), Teacher('Wang', 'Math'), Teacher('Su', 'English')]
        global IDSTART
        IDSTART += 1
        super().__init__(IDSTART, 'Student ' + name)

    def foo(self):
        print(f'Student {self.name=}, {self.age=}')


class MyEncoder(json.JSONEncoder):
    def default(self, obj):
        if type(obj) not in (dict, list, tuple, str, int, float, True, False, None):
            return  str(vars(obj))

        return json.JSONEncoder.default(self, obj)


b = Base(10011, 'Base Object')
b.foo()
jb = json.dumps(b, cls=MyEncoder)
print(jb)

s = Student('John', 12)
s.foo()
js = json.dumps(s, cls=MyEncoder)
print(js)

’’’
Base self.id=10011, self.desc='Base Object'
"{'id': 10011, 'desc': 'Base Object'}"
Student self.name='John', self.age=12
"{'name': 'John', 'age': 12, 'score': {'Chinese': 90, 'Math': 95, 'English': 90}, 'tearchers': [<__main__.Teacher object at 0x10fede450>, <__main__.Teacher object at 0x10fe05a50>, <__main__.Teacher object at 0x10fede510>], 'id': 1100002, 'desc': 'Student John'}"
‘’‘

生成json文件

json.dump(obj, fp, *, skipkeys=False, ensure_ascii=True, check_circular=True, allow_nan=True, cls=None, indent=None, separators=None, default=None, sort_keys=False, **kw)

将python对象以json格式写入文件fp（支持write()方法）

json 模块始终产生 str 对象而非 bytes 对象。因此，fp.write() 必须支持 str 输入。