https://zhuanlan.zhihu.com/p/42804596?utm_medium=social&utm_source=wechat_session
python程序运行中得到了一些字符串,列表,字典等数据,想要长久的保存下来,方便以后使用,而不是简单的放入内存中关机断电就丢失数据。python模块大全中pickle模块就排上用场了, 他可以将对象转换为一种可以传输或存储的格式。
pickle对象串行化
pickle模块将任意一个python对象转换成一系统字节的这个操作过程叫做串行化对象;
pickle与cpickle比较
pickle完全用python来实现的,cpickle用C来实现的,cpickle的速度要比pickle快好多倍,电脑中如果有cpickle的话建议使用cpickle
pickle模块中常用的函数:
1.pickle.dump(obj, file, [,protocol])
-
- 含义:pickle.dump(对象,文件,[使用协议])
- 将要持久化的数据“对象”,保存到“文件”中,使用有3种协议,索引0为ASCII,1为旧式二进制,2为新式二进制协议,不同之处在于2要更高效一些。
- 默认dump方法使用0做协议
2.pickle.load(file)
-
- 含义:pickle.load(文件),将file中的对象序列化读出。
- 从“文件”中读取字符串,将他们反序列化转换为python的数据对象,可以像操作数据类型的这些方法来操作它们;
3.pickle.dumps(obj[, protocol])
-
- 函数的功能:将obj对象序列化为string形式,而不是存入文件中。
- obj:想要序列化的obj对象。
- protocal:如果该项省略,则默认为0。如果为负值或HIGHEST_PROTOCOL,则使用最高的协议版本。
4.pickle.loads(string)
-
- 函数的功能:从string中读出序列化前的obj对象。
- string:文件名称。
dump() 与 load() 相比 dumps() 和 loads() 还有另一种能力:dump()函数能一个接一个地将几个对象序列化存储到同一个文件中,随后调用load()来以同样的顺序反序列化读出这些对象。(注意多个文件的存储和读取顺序要一致)
with open(self.model_file, 'wb') as f:
pickle.dump(self.A_dic, f)
pickle.dump(self.B_dic, f)
pickle.dump(self.Pi_dic, f)
with open(self.model_file, 'rb') as f:
self.A_dic = pickle.load(f)
self.B_dic = pickle.load(f)
self.Pi_dic = pickle.load(f)
pickle实例代码:
(1)一个字典a,用dump()存储到本地文件,所存数据的格式就是字典,而普通的file.write()写入文件的是字符串。读取时,load()返回的是一个字典,file.read()返回的是一个字符串。
import pickle
a = {" name ": "Tom", "age": "40"}
with open('text.txt', 'wb') as file:
pickle.dump(a, file)
with open('text.txt', 'rb') as file2:
b = pickle.load(file2)
print(type(b))
print(b)
输出如下:
<class 'dict'>
{' name ': 'Tom', 'age': '40'}
(2)一个列表info,用 pickle.dumps()方法将info序列化为string形式,而不是存入文件中。用pickle.loads()方法从string(文件名称data1)读出序列化前的对象。
import pprint
import _pickle as cpickle
import pickle
info=[1,2,3,'java','python']
print("原始数据:")
pprint.pprint(info)
data1=pickle.dumps(info)
data2=pickle.loads(data1)
print("序列化:",data1)
print("反序列化:",data2)
输出如下:
原始数据:
[1, 2, 3, 'java', 'python']
序列化: b'\x80\x03]q\x00(K\x01K\x02K\x03X\x04\x00\x00\x00javaq\x01X\x06\x00\x00\x00pythonq\x02e.'
反序列化: [1, 2, 3, 'java', 'python']
3、pickle模块主要函数实例
import _pickle as cpickle
import pickle
dataList = [[8, 1, 'python'],
[8, 1, 'python'],
[8, 0, 'python'],
[8, 1, 'C++'],
[8, 1, 'C++']]
dataDict = {
0: [1, 2, 3],
"a": {"name": "zhangsan", "age": 18},
1: ('name', "sex", 17)
}
file_write = open("datafile.txt", "wb")
pickle.dump(dataList, file_write)
pickle.dump(dataDict, file_write)
file_write.close()
file_read = open("datafile.txt", "rb")
data1 = pickle.load(file_read)
print('\n' + "反序列化1:%r" % data1)
data2 = pickle.load(file_read)
print('\n' + "反序列化2:%r" % data2)
file_read.close()
# 使用dumps()和loads()举例
print("使用dumps()和loads()举例")
p = pickle.dumps(dataList)
print(pickle.loads(p))
p = pickle.dumps(dataDict)
print(pickle.loads(p))
输出如下:
反序列化1:[[8, 1, 'python'], [8, 1, 'python'], [8, 0, 'python'], [8, 1, 'C++'], [8, 1, 'C++']]
反序列化2:{0: [1, 2, 3], 'a': {'name': 'zhangsan', 'age': 18}, 1: ('name', 'sex', 17)}
使用dumps()和loads()举例
[[8, 1, 'python'], [8, 1, 'python'], [8, 0, 'python'], [8, 1, 'C++'], [8, 1, 'C++']]
{0: [1, 2, 3], 'a': {'name': 'zhangsan', 'age': 18}, 1: ('name', 'sex', 17)}
4、要注意的是,在load(file)时,要让python能够找到类的定义,否则会报错:
import _pickle as cpickle
import pickle
class Person:
def __init__(self,name,age):
self.name=name
self.age=age
def show(self):
print(self.name+"___"+str(self.age))
person=Person("zhangsan",18)
person.show()
f=open("person.txt","wb")
pickle.dump(person,f)
f.close()
#del Person
f=open("person.txt","rb")
data=pickle.load(f)
print(data.name+"__"+str(data.age))
f.close()
data.show()
输出如下:
zhangsan___18
zhangsan__18
zhangsan___18
如果del Person不注释掉:(意思就是当前的模块找不到类了)
File "E:/python_project/test/test.py", line 33, in <module>
data=pickle.load(f)
AttributeError: Can't get attribute 'Person' on <module '__main__' from 'E:/python_project/test/test.py'>
5、清空pickler的“备忘”,使用Pickler实例在序列化对象的时候,它会“记住”已经被序列化的对象引用,所以对同一对象多次调用dump(obj),pickler不会“傻呼呼”的去多次序列化。
import pickle
import io
class Person:
def __init__(self,name,age):
self.name=name
self.age=age
def show(self):
print(self.name+"___"+str(self.age))
person=Person("zhangsan",18)
person.show()
file=io.BytesIO()
pick=pickle.Pickler(file)
pick.dump(person)
value1=file.getvalue()
print(len(value1))
pick.clear_memo()
pick.dump(person)
value2=file.getvalue()
print(len(value2))
file.close()
上面代码运行结果:
zhangsan___18
70
140
再注释掉pick.clear_memo()后,运行结果如下:
zhangsan___18
70
75
主要是因为,python的pickle如果不clear_memo,则不会多次去序列化对象。