模型复现之pickle文件操作

实验中有的文件使用pickle的方式读取的。

python中几乎所有的数据类型（列表，字典，集合，类等）都可以用pickle来序列化，pickle序列化后的数据，可读性差，人一般无法识别。

pickle文件的基本操作：

import pickle
import numpy as np
# 随便用numpy生成一些数据充当dataset
data = {'a': np.arange(10),
       'b':np.random.randint(10),
       'c':np.random.randn(10)}
# 用wb方式打开一个pkl文件
output = open('data.pkl','wb')
# 把data输出到文件中--序列化
pickle.dump(data, output)
# 关闭输出流
output.close()

# 二进制的方式读取文件
file = open('data.pkl','rb')
# 读取文件--反序列化
pickle.load(file)
# 关闭流
file.close()

pickle文件：

可以将任何对象序列化操作(序列化过程将文本信息转变为二进制数据流)；可用于保存训练好的model

python中的序列化库包括pickle和json，前者无法直接查看，后者可以。

常用的函数：

pickle模块中最常用的函数为：

1. pickle.dump(obj, file, [,protocol])

函数的功能：将obj对象序列化存入已经打开的file中。

参数讲解：
obj：想要序列化的obj对象。
file:文件名称。
protocol：序列化使用的协议。如果该项省略，则默认为0。如果为负值或HIGHEST_PROTOCOL，则使用最高的协议版本。

2. pickle.load(file)

函数的功能：将file中的对象序列化读出。

参数讲解：
file：文件名称。

3. pickle.dumps(obj[, protocol])

函数的功能：将obj对象序列化为string形式，而不是存入文件中。

参数讲解：
obj：想要序列化的obj对象。
protocal：如果该项省略，则默认为0。如果为负值或HIGHEST_PROTOCOL，则使用最高的协议版本。

4. pickle.loads(string)

函数的功能：从string中读出序列化前的obj对象。

参数讲解：
string：文件名称。

dump() 与 load() 相比 dumps() 和 loads() 还有另一种能力：dump()函数能一个接着一个地将几个对象序列化存储到同一个文件中，随后调用load()来以同样的顺序反序列化读出这些对象。

#coding:utf-8
__author__ = 'weipengfei'
#pickle模块主要函数的应用举例
import pickle
dataList = [[1, 1, 'yes'], [1, 1, 'yes'], [1, 0, 'no'], [0, 1, 'no'],
            [0, 1, 'no']]
dataDic = {0: [1, 2, 3, 4], 1: ('a', 'b'), 2: {'c': 'yes', 'd': 'no'}}

#使用dump()将数据序列化到文件中
fw = open('dataFile.txt', 'wb')
# Pickle the list using the highest protocol available.
pickle.dump(dataList, fw, -1)
# Pickle dictionary using protocol 0.
pickle.dump(dataDic, fw)
fw.close()

#使用load()将数据从文件中序列化读出
fr = open('dataFile.txt', 'rb')
data1 = pickle.load(fr)
print(data1)
data2 = pickle.load(fr)
print(data2)
fr.close()

#使用dumps()和loads()举例---对象，保存在内存中，不写入文件
p = pickle.dumps(dataList)
print(pickle.loads(p))
p = pickle.dumps(dataDic)
print(pickle.loads(p))

在官方的介绍中，序列化操作的英文描述有好几个单词，如”serializing”, “pickling”, “serialization”, “marshalling” 或者”flattening”等，它们都代表的是序列化的意思。相应的，反序列化操作的英文单词也有好多个，如”de-serializing”, “unpickling”, “deserailization”等。为了避免混淆，一般用”pickling”/“unpickling”, 或者”serialization”/“deserailization”。

作者：魏鹏飞
链接：https://www.jianshu.com/p/f1c06dbcd118
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。