numpy中数据常用的保存与读取方法

转自：http://www.cnblogs.com/wushaogui/p/9142019.html

NumPy提供了多种文件操作函数方便我们存取数组内容。

文件存取的格式：二进制和文本。二进制格式的文件又分为NumPy专用的格式化二进制类型和无格式类型。

numpy的二进制文件（*.npy或*.npz）

1. numpy.load(file[, mmap_mode, allow_pickle, ...])  从*.npy，*.npz或特定文件中加载数组或特定的对象。

2. numpy.save(file, arr[, allow_pickle=True, fix_imports=True,encoding='ASCII']) 

以*.npy格式将一个数组保存到单个文件中。

file:文件名/文件路径（默认路径为当前路径，可用pwd查看当前路径）
arr:要存储的数组
allow_pickle:布尔值,允许使用Python pickles保存对象数组(可选参数,默认即可)
fix_imports:为了方便Pyhton2中读取Python3保存的数据(可选参数,默认即可)

>>> import numpy as np 
>>> x=np.arange(10) #生成数据 
>>> x 
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) 
>>> np.save('save_x',x) #数据保存 
>>> np.load('save_x.npy') #读取保存的数据 
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

3. numpy.savez(file, *args, **kwds)   以未压缩*.npz格式将多个数组保存到单个文件中。其实就是多个前面np.save的保存的npy，再通过打包(未压缩)的方式把这些文件归到一个文件上，解压npz文件里面是就是多个npy。

file:文件名/文件路径
*args:要存储的数组,可以写多个,如果没有给数组指定Key,Numpy将默认从'arr_0','arr_1'的方式命名
kwds:(可选参数,默认即可)

>>> import numpy as np 
>>> x=np.arange(10) #生成数据x 
>>> x 
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) 
>>> y=np.sin(x) #生成数据y 
>>> y 
array([ 0.        ,  0.84147098,  0.90929743,  0.14112001, -0.7568025 , 
       -0.95892427, -0.2794155 ,  0.6569866 ,  0.98935825,  0.41211849]) 
>>> np.savez('save_xy',x,y) #数据保存  
>>> np.save('save_xy',x,y)
>>> npfile = np.load('save_xy.npy')
>>> npfile
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> np.savez('save_xy',x,y)

>>> npzfile=np.load('save_xy.npz')  #读取保存的数据
>>> npzfile  #是一个对象,无法读取 
<numpy.lib.npyio.NpzFile object at 0x7f2204273f90>

>>> npzfile['arr_0'] #按照组数默认的key进行访问 
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) 
>>> npzfile['arr_1'] 
array([ 0.        ,  0.84147098,  0.90929743,  0.14112001, -0.7568025 , 
       -0.95892427, -0.2794155 ,  0.6569866 ,  0.98935825,  0.41211849])

可以不用Numpy默认给数组的Key['arr_0','arr_1']，自己给数组有意义的Key：

>>> np.savez('save_xy',x_data=x,y_data=y) #数据保存 
>>> npzfile = np.load('save_xy.npz') #读取保存的数据
#按照保存时设定的key进行访问 
>>> npzfile['x_data']
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> npzfile['y_data']
array([ 0.        ,  0.84147098,  0.90929743,  0.14112001, -0.7568025 ,
       -0.95892427, -0.2794155 ,  0.6569866 ,  0.98935825,  0.41211849])

4. numpy.savez_compressed(file, *args, **kwds)   以压缩*.npz格式将多个数组保存到单个文件中。

在前面numpy.savez的基础上加了压缩，可以理解为压缩前各npy的文件大小不变,使用该函数比前面的numpy.savez得到的npz文件更小.

注:函数所需参数和numpy.savez一致,用法一样。

numpy的文本文件（*.gz,）

1. numpy.savetxt(fname, X, fmt='%.18e', delimiter=' ', newline='\n', header='', footer='', comments='# ', encoding=None)  保存数组到文本文件上,可以直接打开查看文件里面的内容.

fname:文件名/文件路径,如果文件后缀是.gz,文件将被自动保存为.gzip格式,np.loadtxt可以识别该格式
X:要存储的1D或2D数组
fmt:控制数据存储的格式
delimiter:数据列之间的分隔符
newline:数据行之间的分隔符
header:文件头部写入的字符串
footer:文件底部写入的字符串
comments:文件头部或者尾部字符串的开头字符,默认是'#'
encoding:使用默认参数

>>> x = y = z = np.ones((2,3)) 
>>> x 
array([[1., 1., 1.], 
       [1., 1., 1.]]) 

>>> np.savetxt('test.out',x)
>>> np.loadtxt('test.out')
array([[1., 1., 1.],
       [1., 1., 1.]])

>>> np.savetxt('test1.out',x, fmt='%1.4e')
>>> np.loadtxt('test1.out')
array([[1., 1., 1.],
       [1., 1., 1.]])

>>> np.savetxt('test2.out',x, delimiter=',')
>>> np.loadtxt('test2.out', delimiter=',')
array([[1., 1., 1.],
       [1., 1., 1.]])


>>> x = y = z = np.arange(0.0,5.0,1.0)
>>> x
array([0., 1., 2., 3., 4.])
>>> y
array([0., 1., 2., 3., 4.])
>>> z
array([0., 1., 2., 3., 4.])

>>> np.savetxt('test.out', x, delimiter=',')   # X is an array
>>> np.loadtxt('test.out',delimiter=',')
array([0., 1., 2., 3., 4.])

>>> np.savetxt('test.out', (x,y,z))   # x,y,z equal sized 1D arrays
>>> np.loadtxt('test.out')
array([[0., 1., 2., 3., 4.],
       [0., 1., 2., 3., 4.],
       [0., 1., 2., 3., 4.]])

>>> np.savetxt('test.out', x, fmt='%1.4e')   # use exponential notation
>>> np.loadtxt('test.out')
array([0., 1., 2., 3., 4.])

2. numpy.loadtxtnumpy.loadtxt(fname, dtype=<class 'float'>, comments='#', delimiter=None, converters=None, skiprows=0, usecols=None, unpack=False, ndmin=0, encoding='bytes')  根据前面定制的保存格式,相应的加载数据的函数也得变化.

fname:文件名/文件路径,如果文件后缀是.gz或.bz2,文件将被解压,然后载入
dtype:要读取的数据类型
comments:文件头部或者尾部字符串的开头字符,用于识别头部,尾部字符串
delimiter:划分读取上来值的字符串
converters:数据行之间的分隔符

 

 

参考资料:
官方API-Routines