数据存储格式-pkl

1.pkl文件


pkl文件是python里面保存文件的一种格式,如果直接打开会显示一堆序列化的东西(二进制文件)。
常用于保存神经网络训练的模型或者各种需要存储的数据。

保存神经网络训练模型举例(使用pytorch进行保存)
保存整个网络:torch.save(net, ‘net.pkl’)
保存网络的状态信息:torch.save(net.state_dict(), ‘net_params.pkl’)
提取神经网络的方法:
torch.load(‘net.pkl’)
存储数据举例

import pandas as pd
import numpy as np

df = pd.DataFrame(np.arange(20).reshape(4,5))
df.to_pickle('foo.pkl')
data=pd.read_pickle('foo.pkl')
print(data)

2.pickle库对文件进行写入,读取操作

  1. 写入pkl文件
import pickle
#wb是覆盖写,如果需要追加,则为‘ab'
f = open('data.pkl','wb')
#待写入数据
datas = {'name':'Bruce','age':25,'high':175}
#写入
data= pickle.dump(datas,f,-1)
#关闭文件
f.close()
  1. 读取.pkl文件

 

f = open('data.pkl','rb')
#使用load的方法将数据从pkl文件中读取出来
pickle.load(f)
#关闭文件
f.close()

3.pandas库对文件进行写入,读取操作

  1. 写入.pkl文件:

使用DataFrame的to_pickle就可以生成pickle文件,因此如果需要存储其他类型的数据将其转化为DataFrame即可存取,例如将dict类型数据保存在.pkl文件中

import pandas as pd
import numpy as np
df = pd.DataFrame(np.arange(20).reshape(4,5))
#使用DataFrame的to_pickle就可以生成pickle文件
df.to_pickle('data.pkl')
#通过字典创建数据
dic={'A':[1,2,3],'B':[4,5,6],'C':[7,8,9]}
df2 = pd.DataFrame(dic,index=["a","b","c"])
df2.to_pickle('data2.pkl')

#字典的键和值将转换为DataFrame的两列,其列名如选项列中所给
stu = {
     'xiaoming':2,
     'xiaohong':3,
    'xiaoqiang':7,}

print(pd.DataFrame(list(stu.items()),columns=['name', 'age']))
'''
输出结果为:
         name   age
0     xiaoming   2
1     xiaohong   3
2     xiaoqiang  7
'''

2.读取.pkl文件:

 

data=pd.read_pickle('data.pkl')
data2=pd.read_pickle('data2.pkl')
print('data:\n',data)
print('data2:\n',data2)

原文链接:https://blog.csdn.net/Ving_x/article/details/114488844

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值