Numpy中常用的保存与读取数据的方法

在遇到经常性的读取数值文件的时候，比如在做深度学习处理的数据，将原始数据转为Numpy格式的数据，然后使用Numpy直接读取，这样可以加快数据的读取速度，缩减数据加载的时间。下面对常用的保存和读取数据的方式进行介绍：

numpy.save()

保存一个数组到一个二进制的文件中,保存格式是.npy

参数介绍
numpy.save(file, arr, allow_pickle=True, fix_imports=True)

file:文件名/文件路径
arr:要存储的数组
allow_pickle:布尔值,允许使用Python pickles保存对象数组(可选参数,默认即可)
fix_imports:为了方便Pyhton2中读取Python3保存的数据(可选参数,默认即可)

例：

import numpy as np

#生成数据

x = np.arange(10)

print(x)

#保存数据

np.save('save_x',x)

 

输出结果：

2、numpy.savez

这个同样是保存数组到一个二进制的文件中,但是厉害之处是,它可以保存多个数组到同一个文件中,保存格式是.npz,它其实就是多个前面np.save的保存的npy,再通过打包(未压缩)的方式把这些文件归到一个文件上,不行你去解压npz文件就知道了,里面是就是自己保存的多个npy.

参数介绍
numpy.savez(file, *args, **kwds)

file:文件名/文件路径
*args:要存储的数组,可以写多个,如果没有给数组指定Key,Numpy将默认从'arr_0','arr_1'的方式命名
kwds:(可选参数,默认即可)

例：

import numpy as np
x = np.arange(10)
print(x)
y=np.sin(x)
print("保存前的数据：")
print(x,y)
np.savez('save_xy',x,y)
npzfile=np.load('save_xy.npz')
xx=npzfile['arr_0']
yy=npzfile['arr_1']
print("保存后的数据：")
print(xx,yy)

输出结果：

你也可以不用Numpy默认给数组的Key，自己给数组定义key。例：

import numpy as np

x = np.arange(10)

print(x)

y=np.sin(x)

print("保存前的数据：")

print(x,y)

np.savez('save_xy',x=x,y=y)

npzfile=np.load('save_xy.npz')

xx=npzfile['x']

yy=npzfile['y']

print("保存后的数据：")

print(xx,yy)

输出结果：

在深度学习中，拥有上述技能，你把训练集、测试集、验证集统统保存成Numpy格式的文件，大大提高加载速度。

Numpy.savez_compressed

在numpy.savez的基础上加了压缩,对文件进行打包时使用了压缩,可以理解为压缩前各npy的文件大小不变,使用该函数比前面的numpy.savez得到的npz文件更小.

注:函数所需参数和numpy.savez一致,用法完成一样.

例：

import numpy as np

x = np.arange(10)

print(x)

y=np.sin(x)

print("保存前的数据：")

print(x,y)

np.savez_compressed('save_xy',x=x,y=y)

npzfile=np.load('save_xy.npz')

xx=npzfile['x']

yy=npzfile['y']

print("保存后的数据：")

print(xx,yy)

输出结果：

Numpy.savetxt

保存数组到文本文件上,可以直接打开查看文件里面的内容.

参数介绍
numpy.savetxt(fname, X, fmt='%.18e', delimiter=' ', newline='\n', header='', footer='', comments='# ', encoding=None)

fname:文件名/文件路径,如果文件后缀是.gz,文件将被自动保存为.gzip格式,np.loadtxt可以识别该格式
X:要存储的1D或2D数组
fmt:控制数据存储的格式
delimiter:数据列之间的分隔符
newline:数据行之间的分隔符
header:文件头步写入的字符串
footer:文件底部写入的字符串
comments:文件头部或者尾部字符串的开头字符,默认是'#'
encoding:使用默认参数

例：

import numpy as np

x = np.arange(10)

#保存数据

np.savetxt('test.out', x)

np.savetxt('test1.out', x,fmt='%1.4e')

np.savetxt('test2.out', x, delimiter=',')

np.savetxt('test3.out', x,newline='a')

np.savetxt('test4.out', x,delimiter=',',newline='a')

np.savetxt('test5.out', x,delimiter=',',header='abc')

np.savetxt('test6.out', x,delimiter=',',footer='abc')

输出结果：

Numpy.loadtxt

根据前面定制的保存格式,相应的加载数据的函数也得变化.

参数介绍
numpy.loadtxt(fname, dtype=<class 'float'>, comments='#', delimiter=None, converters=None, skiprows=0, usecols=None, unpack=False, ndmin=0, encoding='bytes')

fname:文件名/文件路径,如果文件后缀是.gz或.bz2,文件将被解压,然后再载入
dtype:要读取的数据类型
comments:文件头部或者尾部字符串的开头字符,用于识别头部,尾部字符串
delimiter:划分读取上来值的字符串
converters:数据行之间的分隔符
.......后面不常用的就不写了

例：

np.loadtxt('test.out')

np.loadtxt('test2.out', delimiter=',') 

参考文章

https://numpy.org/doc/stable/reference/routines.io.html