Python基础-Json和序列化

序列化

在程序运行的过程中，所有的变量都是在内存中，比如，定义一个dict：
d = dict(name='Bob', age=20, score=88)
可以随时修改变量，比如把name改成’Bill’，但是一旦程序结束，变量所占用的内存就被操作系统全部回收。如果没有把修改后的’Bill’存储到磁盘上，下次重新运行程序，变量又被初始化为’Bob’。
我们把变量从内存中变成可存储或传输的过程称之为序列化，在Python中叫pickling，在其他语言中也被称之为serialization，marshalling，flattening等等，都是一个意思。

序列化

下面我们看一个例子：

import pickle

d = dict(name='bob', age=20)
print(pickle.dumps(d))

#打印结果
b'\x80\x03}q\x00(X\x04\x00\x00\x00nameq\x01X\x03\x00\x00\x00bobq\x02X\x03\x00\x00\x00ageq\x03K\x14u.'

pickle.dumps()方法把任意对象序列化成一个bytes，然后，就可以把这个bytes写入文件。或者用另一个方法pickle.dump()直接把对象序列化后写入一个file-like Object：

with open('dumps.txt', 'wb') as f:
    pickle.dump(d, f)
    #f.write(pickle.dumps(d))
    f.close()

这时查看txt文件即可查看一堆看不懂的东西。。。

反序列化

当我们要把对象从磁盘读到内存时，可以先把内容读到一个bytes，然后用pickle.loads()方法反序列化出对象，也可以直接用pickle.load()方法从一个file-like Object中直接反序列化出对象。

with open('dumps.txt', 'rb') as f:
    d = pickle.load(f)
    f.close()
    print(d)

#打印结果
{'name': 'bob', 'age': 20}

Pickle的问题和所有其他编程语言特有的序列化问题一样，就是它只能用于Python，并且可能不同版本的Python彼此都不兼容，因此，只能用Pickle保存那些不重要的数据，不能成功地反序列化也没关系。

JSON

如果我们要在不同的编程语言之间传递对象，就必须把对象序列化为标准格式，比如XML，但更好的方法是序列化为JSON，因为JSON表示出来就是一个字符串，可以被所有语言读取，也可以方便地存储到磁盘或者通过网络传输。JSON不仅是标准格式，并且比XML更快，而且可以直接在Web页面中读取，非常方便。
JSON表示的对象就是标准的JavaScript语言的对象，JSON和Python内置的数据类型对应如下：

JSON类型	Python类型
{}	dict
[]	list
“string”	str
1234.56	int或float
true/false	True/False
null	None

Python内置的json模块提供了非常完善的Python对象到JSON格式的转换。
下面看一个例子：

import json

d = dict(name='bob', age=20)
print(json.dumps(d))
#打印结果
{"name": "bob", "age": 20}

dumps()方法返回一个str，内容就是标准的JSON。类似的，dump()方法可以直接把JSON写入一个file-like Object。

要把JSON反序列化为Python对象，用loads()或者对应的load()方法，前者把JSON的字符串反序列化，后者从file-like Object中读取字符串并反序列化：

json_str = '{"name": "bob", "age": 20}'
d = json.loads(json_str)
print(d)
#打印结果
{'name': 'bob', 'age': 20}

由于JSON标准规定JSON编码是UTF-8，所以我们总是能正确地在Python的str与JSON的字符串之间转换。

类的序列化

Python的dict对象可以直接序列化为JSON的{}，不过，很多时候，我们更喜欢用class表示对象，比如定义Student类，然后序列化：

class Student(object):
    def __init__(self, name, age):
        self._name = name
        self._age  = age

s = Student('bob', 22)
print(json.dumps(s))

#打印结果 显然是错误的
ypeError: Object of type 'Student' is not JSON serializable

错误的原因是Student对象不是一个可序列化为JSON的对象。
我们可以继续查看一下dumps的方法
https://docs.python.org/3/library/json.html#json.dumps

我们需要写一个转换函数，把这个函数当成参数即可。

def student2dict(std):
    return {
        'name' : std._name,
        'age' : std._age
    }

s = Student('bob', 22)
print(json.dumps(s, default=student2dict))

#打印结果
{"name": "bob", "age": 22}

不过每次遇到class都需要重写一个函数也太麻烦了。
我们可以把任意class的实例变为dict，这样就方便多了。

print(json.dumps(s, default=lambda obj:obj.__dict__))
#打印结果
{"_name": "bob", "_age": 22}

类反序列化

同样的道理，如果我们要把JSON反序列化为一个Student对象实例，loads()方法首先转换出一个dict对象，然后，我们传入的object_hook函数负责把dict转换为Student实例：

def dict2student(d):
    return Student(d['name'], d['age'])

json_str = '{"name": "bob", "age": 22}'
print(json.loads(json_str, object_hook=dict2student))

总结

Python语言特定的序列化模块是pickle，但如果要把序列化搞得更通用、更符合Web标准，就可以使用json模块。
json模块的dumps()和loads()函数是定义得非常好的接口的典范。当我们使用时，只需要传入一个必须的参数。但是，当默认的序列化或反序列机制不满足我们的要求时，我们又可以传入更多的参数来定制序列化或反序列化的规则，既做到了接口简单易用，又做到了充分的扩展性和灵活性。