【python】pandas库pd.read_pickle操作读取pickle数据与.to_pickle()永久储存数据

之前总结了python的pickle库的操作，存储数据使用pickle.dump(obj, file, [,protocol]),将对象obj保存到文件file中去。使用pickle.load(file)从file中读取一个字符串，并将它重构为原来的python对象，反序列化出对象过程；

1、pickle.dump(obj, file, [,protocol])

In [1]: import pickle
#写入一个文件，用写入二进制的格式
In [2]: f = open('data_one.pkl','wb')
#待写入数据
In [3]: datas = {'name':'Bruce','age':25,'high':175}
#dump函数将obj数据datas导入到file文件f中
In [4]: data_one = pickle.dump(datas,f,-1)
#完整的f文件操作句柄
In [5]: f.close()

2、pickle.load(file)

#打开一个data_one文件
In [8]: f = open('data_one.pkl','rb')
#可以看出打开后是一个pkl文件
In [12]: open('data_one.pkl','rb')
Out[12]: <_io.BufferedReader name='data_one.pkl'>
#使用load的方法将数据从pkl文件中读取出来
In [9]: pickle.load(f)
Out[9]: {'age': 25, 'high': 175, 'name': 'Bruce'}
In [10]: f.close()

#打开文件使用pickle.load后，生成的文件后续可以一直调用
In [13]: f = open('data_one.pkl','rb')
In [14]: c = pickle.load(f)
In [15]: f.close()
#调用已经导出来的文件
In [16]: c
Out[16]: {'age': 25, 'high': 175, 'name': 'Bruce'}

3、使用pandas库进行pickle更加简单

• 使用DataFrame的to_pickle属性就可以生成pickle文件对数据进行永久储存

In [34]: import pandas as pd
In [36]: import numpy as np
In [38]: df = pd.DataFrame(np.arange(20).reshape(4,5))

In [39]: df
Out[39]:
    0   1   2   3   4
0   0   1   2   3   4
1   5   6   7   8   9
2  10  11  12  13  14
3  15  16  17  18  19
#使用DataFrame的to_pickle属性就可以生成pickle文件对数据进行永久储存
In [40]: df.to_pickle('foo.pkl')

• 使用pandas库的pd.read_pickle读取pickle数据

In [42]: pd.read_pickle('foo.pkl')
Out[42]:
    0   1   2   3   4
0   0   1   2   3   4
1   5   6   7   8   9
2  10  11  12  13  14
3  15  16  17  18  19