数据存储格式-pkl

1.pkl文件

pkl文件是python里面保存文件的一种格式，如果直接打开会显示一堆序列化的东西（二进制文件）。
常用于保存神经网络训练的模型或者各种需要存储的数据。

保存神经网络训练模型举例（使用pytorch进行保存）
保存整个网络：torch.save(net, ‘net.pkl’)
保存网络的状态信息：torch.save(net.state_dict(), ‘net_params.pkl’)
提取神经网络的方法：
torch.load(‘net.pkl’)
存储数据举例

import pandas as pd
import numpy as np

df = pd.DataFrame(np.arange(20).reshape(4,5))
df.to_pickle('foo.pkl')
data=pd.read_pickle('foo.pkl')
print(data)

2.pickle库对文件进行写入，读取操作

1. 写入pkl文件

import pickle
#wb是覆盖写，如果需要追加，则为‘ab'
f = open('data.pkl','wb')
#待写入数据
datas = {'name':'Bruce','age':25,'high':175}
#写入
data= pickle.dump(datas,f,-1)
#关闭文件
f.close()

2. 读取.pkl文件

 

f = open('data.pkl','rb')
#使用load的方法将数据从pkl文件中读取出来
pickle.load(f)
#关闭文件
f.close()

3.pandas库对文件进行写入，读取操作

1. 写入.pkl文件：

使用DataFrame的to_pickle就可以生成pickle文件，因此如果需要存储其他类型的数据将其转化为DataFrame即可存取，例如将dict类型数据保存在.pkl文件中

import pandas as pd
import numpy as np
df = pd.DataFrame(np.arange(20).reshape(4,5))
#使用DataFrame的to_pickle就可以生成pickle文件
df.to_pickle('data.pkl')
#通过字典创建数据
dic={'A':[1,2,3],'B':[4,5,6],'C':[7,8,9]}
df2 = pd.DataFrame(dic,index=["a","b","c"])
df2.to_pickle('data2.pkl')

#字典的键和值将转换为DataFrame的两列，其列名如选项列中所给
stu = {
     'xiaoming':2,
     'xiaohong':3,
    'xiaoqiang':7,}

print(pd.DataFrame(list(stu.items()),columns=['name', 'age']))
'''
输出结果为：
         name   age
0     xiaoming   2
1     xiaohong   3
2     xiaoqiang  7
'''

2.读取.pkl文件：

 

data=pd.read_pickle('data.pkl')
data2=pd.read_pickle('data2.pkl')
print('data:\n',data)
print('data2:\n',data2)

原文链接：https://blog.csdn.net/Ving_x/article/details/114488844