python封装函数、实现将任意的对象序列化到磁盘上_python pickle模块的使用/将python数据对象序列化保存到文件中...

#Python 使用pickle/cPickle模块进行数据的序列化

"""Python序列化的概念很简单。内存里面有一个数据结构，

你希望将它保存下来，重用，或者发送给其他人。你会怎么做？

这取决于你想要怎么保存，怎么重用，发送给谁。很多游戏允许你在退出的时候保存进度，

然后你再次启动的时候回到上次退出的地方。(实际上，很多非游戏程序也会这么干)在这种情况下，

一个捕获了当前进度的数据结构需要在你退出的时候保存到硬盘上，接着在你重新启动的时候从硬盘上加载进来。"""

"""Python标准库提供pickle和cPickle模块。cPickle是用C编码的，在运行效率上比pickle要高，

但是cPickle模块中定义的类型不能被继承(其实大多数时候，我们不需要从这些类型中继承，推荐使用cPickle)

cPickle和pickle的序列化/反序列化规则是一样的，使用pickle序列化一个对象，可以使用cPickle来反序列化。

同时，这两个模块在处理自引用类型时会变得更加“聪明”，它不会无限制的递归序列化自引用对象，

对于同一对象的多次引用，它只会序列化一次。"""

"""pickle模块中的两个主要函数是dump()和load()。dump()函数接受一个数据对象和一个文件句柄作为参数，

把数据对象以特定的格式保存到给定的文件中。当我们使用load()函数从文件中取出已保存的对象时，

pickle知道如何恢复这些对象到它们本来的格式。

dumps()函数执行和dump()函数相同的序列化。取代接受流对象并将序列化后的数据保存到磁盘文件，这个函数简单的返回序列化的数据。

loads()函数执行和load()函数一样的反序列化。取代接受一个流对象并去文件读取序列化后的数据，它接受包含序列化后的数据的str对象, 直接返回的对象。"""

#pickle.dump(obj, file[, protocol]), 将对象进行序列化

"""这是将对象持久化的方法，参数的含义分别为：

obj: 要持久化保存的对象，可以是一个python列表，字典，元组等；

file: 一个拥有 write() 方法的对象，并且这个 write() 方法能接收一个字符串作为参数。

这个对象可以是一个以写模式打开的文件对象或者一个 StringIO 对象，或者其他自定义的满足条件的对象。

protocol: 这是一个可选的参数，默认为 0 ，如果设置为 1 或 True，

则以高压缩的二进制格式保存持久化后的对象，否则以ASCII格式保存。"""

#将序列化的对象进行还原，pickle.load(file)

"""只有一个参数 file ，对应于上面 dump 方法中的 file 参数。

这个 file 必须是一个拥有一个能接收一个整数为参数的 read() 方法以及一个不接收任何参数的 readline() 方法，

并且这两个方法的返回值都应该是字符串。这可以是一个打开为读的文件对象、StringIO 对象或其他任何满足条件的对象。"""

#示例

importpickle#也可以这样：#import cPickle as pickle # python3 中已经移除了cPickle,直接使用pickle即可

obj= {"a": 1, "b": 2, "c": 3}

f= open("./tmp.txt", "wb")#将 obj 持久化保存到文件 tmp.txt 中

pickle.dump(obj, f)delobj

f.close()

f2= open("./tmp.txt", "rb")#从 tmp.txt 中读取并恢复 obj 对象

obj2 =pickle.load(f2)

f2.close()print(obj2)"""不过实际应用中，如果是python2开发环境，我们可能还会有一些改进，比如用 cPickle 来代替 pickle(python3移除了cPickle, 直接使用pickle即可) ，

前者是后者的一个 C 语言实现版本，拥有更快的速度。

另外，有时在 dump 时也会将第三个参数设为 True 以提高压缩比。再来看下面的例子："""

deftest_cPickle():#import cPickle as pickle

importpickleimportrandomimportosimporttime

LENGTH= 1024 * 10240d={}

a=[]for i inrange(LENGTH):

a.append(random.randint(0,255))

d["a"] =aprint("dumping...")

t1=time.time()

pickle.dump(d, open("tmp1.dat", "wb"), True)print("dump1: %.3fs" % (time.time() -t1))

t1=time.time()

pickle.dump(d, open("tmp2.dat", "w"))print("dump2: %.3fs" % (time.time() -t1))

s1= os.stat("tmp1.dat").st_size

s2= os.stat("tmp2.dat").st_sizeprint("%d, %d, %.2f%%" % (s1, s2, 100.0 * s1 /s2))print("loading...")

t1=time.time()

obj1= pickle.load(open("tmp1.dat", "rb"))print("load1: %.3fs" % (time.time() -t1))

t1=time.time()

obj2= pickle.load(open("tmp2.dat", "r"))print("load2: %.3fs" % (time.time() -t1))

test_cPickle()"""可以看到，dump 时如果指定了 protocol 为 True，压缩过后的文件的大小只有原来的文件的 30% ，

同时无论在 dump 时还是 load 时所耗费的时间都比原来少。因此，一般来说，可以建议把这个值设为 True 。

另外，pickle 模块还提供 dumps 和 loads 两个方法，用法与上面的 dump 和 load 方法类似，

只是不需要输入 file 参数，输入及输出都是字符串对象，有些场景中使用这两个方法可能更为方便。"""

deftest_dumps_loads():importpickle

my_list= [1, 2, 3, 4, 5]

item= pickle.dumps(my_list, protocol=True)print(item)

with open("./test.txt", "wb") as f:

f.write(item)

with open("./test.txt", "rb") as f:

my_byte=f.read()

item2=pickle.loads(my_byte)print(item2)

test_dumps_loads()