01_Numpy学习笔记(下):输入和输出
在数据处理的过程中少不了要与各种文件打交道,而Numpy刚好提供了各种“利器”来读写这些文件。按文件类型分,可以分为两类:二进制文件、文本文件。下面主要围绕这两方面来回顾。
一、Numpy读写二进制文件
Numpy读写二进制文件的相关api有如下三个:
- numpy.save(file, arr, allow_pickle=True, fix_imports=True) Save an array to a binary filein NumPy .npy format.
- numpy.load(file, mmap_mode=None, allow_pickle=False, fix_imports=True, encoding=‘ASCII’)Load arrays or pickled objects from .npy, .npz or pickled files.
- numpy.savez(file, *args, **kwds) Save several arrays into a single file in uncompressed.npz format.
save()
、savez()
和load()
函数以 numpy 专用的二进制类型(npy、npz)保存和读取数据,这三个函数会自动处理ndim、dtype、shape等信息,使用它们读写数组非常方便,但是save()输出的文件很难与其它语言编写的程序兼容。
npy格式 :以二进制的方式存储文件,在二进制文件第一行以文本形式保存了数据的元信息(ndim,dtype,shape等),可以用二进制工具查看内容。
npz格式 :以压缩打包的方式存储文件,可以用压缩软件解压
保存单个数组:
import numpy as np
outfile = r'.\test.npy'
np.random.seed(20200619)
x = np.random.uniform(0, 1, [3, 5])
np.save(outfile, x)
y = np.load(outfile)
print(y)
保存多个数组:
import numpy as np
outfile = r'.\test.npz'
x = np.linspace(0, np.pi, 5)
y = np.sin(x)
z = np.cos(x)
np.savez(outfile, x, y, z_d=z)
data = np.load(outfile)
np.set_printoptions(suppress=True)
print(data.files)
print(data['arr_0']
print(data['arr_1'])
print(data['z_d'])
savez()第一个参数是文件名,其后的参数都是需要保存的数组,也可以使用关键字参数为数组起一个名字,非关键字参数传递的数组会自动起名为arr_0, arr_1, …。savez()输出的是一个压缩文件(扩展名为npz),其中每个文件都是一个save()保存的npy文件,文件名对应于数组名。load()自动识别npz文件,并且返回一个类似于字典的对象,可以通过数组名作为关键字获取数组的内容。
二、Numpy读写文本文件
savetxt()
,loadtxt()
和genfromtxt()
函数用来存储和读取文本文件(如TXT,CSV等)。
genfromtxt()
比loadtxt()
更加强大,可对缺失数据进行处理。
-
numpy.savetxt(fname, X, fmt='%.18e', delimiter=' ', newline='\n', header='', footer='', comments='# ', encoding=None)
Save an array to a text file.
fname:文件路径
X:存入文件的数组。
fmt:写入文件中每个元素的字符串格式,默认’%.18e’(保留18位小数的浮点数形式)。
delimiter:分割字符串,默认以空格分隔。 -
numpy.loadtxt(fname, dtype=float, comments='#', delimiter=None, converters=None, skiprows=0, usecols=None, unpack=False, ndmin=0, encoding='bytes', max_rows=None)
Load data from a text file.
fname:文件路径。
dtype:数据类型,默认为float。
comments: 字符串或字符串组成的列表,默认为# , 表示注释字符集开始的标志。
skiprows:跳过多少行,一般跳过第一行表头。
usecols:元组(元组内数据为列的数值索引), 用来指定要读取数据的列(第一列为
0)。
unpack:当加载多列数据时是否需要将数据列进行解耦赋值给不同的变量。 -
numpy.genfromtxt(fname, dtype=float, comments='#', delimiter=None, skip_header=0, skip_footer=0, converters=None, missing_values=None, filling_values=None, usecols=None, names=None, excludelist=None, deletechars=''.join(sorted(NameValidator.defaultdeletechars)), replace_space='_', autostrip=False, case_sensitive=True, defaultfmt="f%i", unpack=None, usemask=False, loose=True, invalid_raise=True, max_rows=None, encoding='bytes')
Load data from a text file, with missing values handled as specified.names:设置为True时,程序将把第一行作为列名称。
numpy读写文本文件:
import numpy as np
outfile = r'.\test.txt'
x = np.arange(0, 10).reshape(2, ‐1)
np.savetxt(outfile, x)
y = np.loadtxt(outfile)
print(y)
利用genfromtxt()
处理缺失数据的情况:
data1.csv
如下所示:
id,value1,value2,value3
1,123,1.4,23
2,110,,18
3,,2.1,19
处理程序如下:
import numpy as np
# %%
out_file = r'.\data1.csv'
X = np.genfromtxt(out_file, delimiter=',', names=True)
print(X)
# %%
print(X['id'])
print(X['value1'])
print(X['value2'])
print(X['value3'])
三、文本格式选项
利用numpy.set_printoptions()
可以对输出格式进行个性化定制。该方法用法如下:
numpy.set_printoptions(precision=None,threshold=None, edgeitems=None,linewidth=None, suppress=None, nanstr=None, infstr=None,formatter=None, sign=None, floatmode=None, **kwarg)
Set printing options.- precision :设置浮点精度,控制输出的小数点个数,默认是8。
- threshold :概略显示,超过该值则以“…”的形式来表示,默认是1000。
- linewidth :用于确定每行多少字符数后插入换行符,默认为75。
- suppress :当suppress=True ,表示小数不需要以科学计数法的形式输出,默认是False。
- nanstr :浮点非数字的字符串表示形式,默认nan 。
- infstr :浮点无穷大的字符串表示形式,默认inf 。
这些选项决定了浮点型数据,数组,以及其他类型的Numpy对象的展示方式。如:
import numpy as np
np.set_printoptions(precision=4)
x = np.array([1.123456789])
print(x)
# 设置最多显示20个元素,超出范围就以省略号显示
np.set_printoptions(threshold=20)
x = np.arange(50)
print(x)
# 设置最多显示整数最大范围(2147483647)个元素,超出范围就以省略号显示
np.set_printoptions(threshold=np.iinfo(np.int).max)
print(x)
eps = np.finfo(float).eps
x = np.arange(4.)
x = x ** 2 ‐ (x + eps) ** 2
print(x)
# 表示小数不需要以科学计数法的形式输出
np.set_printoptions(suppress=True)
print(x)
x = np.linspace(0, 10, 10)
print(x)
# 控制输出小数点后2位,结果以非科学计数法显示,最多显示5个元素
np.set_printoptions(precision=2, suppress=True, threshold=5)
print(x)
可以通过numpy.get_printoptions()
获取打印参数:
import numpy as np
x = np.get_printoptions()
print(x)