1、什么叫序列化
序列化是指把内存里的数据类型转变成字符串,以使其能存储到硬盘或通过网络传输到远程,因为硬盘或网络传输时只能接受bytes(字节)
2、用于序列化的两个模块,json和pickle
json,用于字符串 和 python数据类型间进行转换
pickle,用于python特有的类型 和 python的数据类型间进行转换
Json模块提供了四个功能:dumps、dump、loads、load
pickle模块提供了四个功能:dumps、dump、loads、load
2.1json和pickle的对比分析
json vs pickle:
JSON:
优点:跨语言、体积小
缺点:只能支持int\str\list\tuple\dict
Pickle:
优点:专为python设计,支持python所有的数据类型
缺点:只能在python中使用,存储数据占空间大
# 把内存数据转成字符串数据类型,叫序列化 : dumps dump # 把字符串数据类型转化成内存数据 叫反序列化 : loads load dumps和dump,load和loads的区别: dumps是将对象序列化,loads将序列化字符串反序列化。
dump是将对象序列化并保存到文件中,load将序列化字符串从文件读取并反序列化。
重点:dumps仅转为为字符串,loads反序列化,转化为原型
# dumps仅转化成字符串 import json data = {'k1':123,'k2':'hello'} d = json.dumps(data) d1 = json.loads(d) print('序列化',d,type(d)) print('反序列化d1',d1,type(d1)) 输出为: 序列化 {"k1": 123, "k2": "hello"} <class 'str'> 反序列化d1 {'k1': 123, 'k2': 'hello'} <class 'dict'>
重点:dump先主动转化再写入文件,load读取json文件返回原型
#转化为字符并写入文件dump data2 ={'a1':123,'b1':456} with open('test序列.py','a+',encoding='utf-8') as f: f1 = json.dump(data2,f) print('序列化dump:',f1,type(f1)) 序列化dump: None <class 'NoneType'> 因为:json.dump主要用来json文件读写 #反序列化: import json with open('test序列.py','r') as f2: file = json.load(f2) print('反序列化load:',file,type(file)) 反序列化load: {'a1': 123, 'b1': 456} <class 'dict'> 因为: json.load是读取json数据 json.dumps : ’dict’转成str json.dump是将python数据保存成json json.loads:str转成’dict’ json.load是读取json数据 json.load是解析json文件的;json.loads是解析json字符串的 dumps 和loads对应 dump 和 load 对应 # 只是把数据转成字符串存到内存里的意义? # json.dumps json.loads # 1 把你的内存数据通过网络,共享给远程其他人 # 2 定义了不同语言之间的交互规则 # (1)纯文本,坏处:不能共享复杂的数据类型。(2)xml,坏处:占空间大。(3)json,简单,可读性好
3、pickle模块
与JSON不同的是pickle不是用于多种语言间的数据传输,它仅作为python对象的持久化或者python程序间进行互相传输对象的方法,因此它支持了python所有的数据类型。
import pickle
data = {'k1':123,'k2':'abc'}
d = pickle.dumps(data)
d2 = pickle.loads(d)
print('序列化',d,type(d))
print('反序列化d1',d2,type(d2))
输出:
序列化 b'\x80\x03}q\x00(X\x02\x00\x00\x00k1q\x01K{X\x02\x00\x00\x00k2q\x02X\x03\x00\x00\x00abcq\x03u.' <class 'bytes'>
pickle.dumps输出为二进制模式,bytes就是单纯的二进制
反序列化d1 {'k1': 123, 'k2': 'abc'} <class 'dict'>
(2)
pickle.dump/pickle.load
#pickle只能以二进制格式存储数据到文件
f = open('test1.txt','wb')
data = {'k1':123,'k2':'abc'}
f1 = pickle.dump(data,f) #序列化对象到文件
print('pickle.dump(data,f):',f1,type(f1))
f = open('test1.txt','rb')
red = pickle.load(f) #从文件中反序列化对象
print('pickle.load(f)',red,type(red))
输出结果:
pickle.dump(data,f): None <class 'NoneType'>#保存的为对象
pickle.load(f) {'k1': 123, 'k2': 'abc'} <class 'dict'>
4、shelve
Shelve是对象持久化保存方法,将对象保存到文件里面,缺省(即默认)的数据存储文件是二进制的。
用途:可以作为一个简单的数据存储方案
shelve与pickle类似用来持久化数据的,不过shelve是以键值对的形式,将内存中的数据通过文件持久化,
值支持任何pickle支持的python数据格式,它会在目录下生成三个文件。
import shelve
s = shelve.open('test_shelf.db') #创建shelve并打开
try:
s['kk'] = {'int': 10, 'float': 9.5, 'String': 'Sample data'} #写入数据
s['MM'] = [1, 2, 3]
finally:
s.close() #关闭文件
import shelve
s = shelve.open('test_shelf.db') #打开文件
print(s['kk']) #访问数据
s.close()
输出:{'int': 10, 'float': 9.5, 'String': 'Sample data'} <class 'dict'>
(2)对于存储的key,value值,只能添加key,value,可修改整个value,不能单独修改列表或字典中的元素
s = shelve.open('test_shelf.db') #打开文件
#添加数据:s['k2']=[1,2,3]
若s['k2'] = [1,2,3]
#添加后修改(NO) s['k2'][0]=99 #修改存储的value的单个值时不生效也不报错
#可以整个修改: s['k2']=(33,44) #可以修改key的value
写回(write-back)由于shelve在默认情况下是不会记录待持久化对象的任何修改的,所以我们在shelve.open()时候需要修改默认参数,否则对象的修改不会保存。
>>> s = shelve.open('test_s.db',writeback=True) #使用回写功能打开
>>> print(s['k1']) #初始值
{'float': 8.8, 'string': 'python', 'int': 10}
>>> print(s['k2'])
(33, 44)
>>> s['k1']['float']='99.99' #修改字典中的元素
>>> print(s['k1']) #成功修改
{'float': '99.99', 'string': 'python', 'int': 10}
# 1.创建一个shelf对象,直接使用open函数即可 import shelve s = shelve.open('test_shelf.db') # try: s['kk'] = {'int': 10, 'float': 9.5, 'String': 'Sample data'} s['MM'] = [1, 2, 3] finally: s.close() # 2.如果想要再次访问这个shelf,只需要再次shelve.open()就可以了,然后我们可以像使用字典一样来使用这个shelf import shelve try: s = shelve.open('test_shelf.db') value = s['kk'] print(value) finally: s.close() # 3.对shelf对象,增、删、改操作 import shelve s = shelve.open('test_shelf.db', flag='w', writeback=True) try: # 增加 s['QQQ'] = 2333 # 删除 del s['MM'] # 修改 s['kk'] = {'String': 'day day up'} finally: s.close() # 注意:flag设置为‘r’-只读模式,当程序试图去修改一个以只读方式打开的DB时,将会抛一个访问错误的异常。异常的具体类型取决于anydbm这个模块在创建DB时所选用的DB。异常举例:anydbm.error: need ‘c’ or ‘n’ flag to open new db # 4.循环遍历shelf对象 import shelve s = shelve.open('test_shelf.db') try: # 方法一: for item in s.items(): print ('键[{}] = 值[{}]'.format(item[0], s[item[0]])) # 方法二: for key, value in s.items(): print(key, value) finally: s.close()
writeback=True,对子字典修改完后要写回,否则不会看到修改后的结果
open(filename, flag='c', protocol=None, writeback=False):