numpy_7 输入输出

numpy 二进制文件(.npy/.npz)

①.npy格式：以二进制的方式存储文件，在二进制文件第一行以文本形式保存了数据的元信息（ndim，dtype，shape等），可以用二进制工具查看内容。
②.npz格式：以压缩打包的方式存储文件，可以用压缩软件解压。

save()函数——保存数组

save(file, arr, allow_pickle=True, fix_imports=True)
以.npy格式将数组保存到二进制文件中。

load()函数——加载数组

load(file, mmap_mode=None, allow_pickle=False, fix_imports=True, encoding=‘ASCII’)
从.npy、.npz或pickled文件加载数组或pickled对象。

参数介绍：

1. mmap_mode: {None, ‘r+’, ‘r’, ‘w+’, ‘c’};`：读取文件的方式。
2. allow_pickle=False：允许加载存储在.npy文件中的pickled对象数组。
3. fix_imports=True：若为True，pickle将尝试将旧的python2名称映射到python3中使用的新名称。
4. encoding=‘ASCII’：制定编码格式，默认为“ASCII”

样例：

import numpy as np
outfile = 'test.npy'
np.random.seed(2022)
x = np.random.uniform(low=1, high=2,size = [3, 4])
np.save(outfile, x)
y = np.load(outfile)
print(y)
# [[1.00935861 1.49905781 1.11338369 1.04997402]
#  [1.68540759 1.48698807 1.89765723 1.64745207]
#  [1.89696312 1.72113493 1.83135342 1.82756807]]

savez()函数——保存多个数组到单个文件

savez(file, *args, **kwds)
以未压缩的.npz格式将多个数组保存到单个文件中

参数介绍：
第一个参数 file 是文件名;
其后的参数都是需要保存的数组，也可以使用关键字参数为数组起一个名字，非关键字参数传递的数组会自动起名为arr_0, arr_1, …。

输出介绍：
输出的是一个扩展名为.npz 的压缩文件，其中每个文件都是一个save()保存的.npy文件，文件名对应于数组名。load()自动识别.npz文件，并且返回一个类似于字典的对象，可以通过数组名作为关键字获取数组的内容。

样例：

import numpy as np
outfile = 'test.npz'
x = np.linspace(0, np.pi, 5)
y = np.sin(x)
z = np.cos(x)
np.savez(outfile, x, y, z_d=z)
data = np.load(outfile)
np.set_printoptions(suppress=True)
print(data.files)
# ['z_d', 'arr_0', 'arr_1']
print(data['arr_0'])
# [0.         0.78539816 1.57079633 2.35619449 3.14159265]
print(data['arr_1'])
# [0.         0.70710678 1.         0.70710678 0.        ]

其中，np.set_printoptions()函数使用详情见下方 设置输出文本格式选项。

文本文件（.TXT/.CSV)

savetxt()函数——保存数组

savetxt(fname, X, fmt=’%.18e’, delimiter=’ ‘, newline=’\n’,header=’’, footer=’’, comments=’# ', encoding=None）

参数介绍：

• fname：文件路径
• X：存入文件的数组。
• fmt='%.18e'：写入文件中每个元素的字符串格式，默认’%.18e’（保留18位小数的浮点数形式）。
• delimiter=' '：分割字符串，默认以空格分隔。

loadtxt()函数 ——加载数组

loadtxt(fname, dtype=float, comments=’#’, delimiter=None,converters=None, skiprows=0, usecols=None, unpack=False,ndmin=0, encoding=‘bytes’, max_rows=None)

参数介绍：

• fname：文件路径。
• dtype=float：数据类型，默认为float。
• comments='#': 字符串或字符串组成的列表，默认为’#’，表示注释字符集开始的标志。
• skiprows=0：跳过多少行，一般跳过第一行表头。
• usecols=None：元组（元组内数据为列的数值索引）， 用来指定要读取数据的列（第一列为0）。
• unpack=False：当加载多列数据时是否需要将数据列进行解耦赋值给不同的变量
  样例（同理于上方二进制文件）：

import numpy as np
outfile = 'test.txt'
np.random.seed(2022)
x = np.random.uniform(low=1, high=2,size = [3, 4])
np.savetxt(outfile, x)
y = np.loadtxt(outfile)
print(y)
# [[1.00935861 1.49905781 1.11338369 1.04997402]
#  [1.68540759 1.48698807 1.89765723 1.64745207]
#  [1.89696312 1.72113493 1.83135342 1.82756807]]

CSV文件与上方样例的TXT文件同理

genfromtxt()函数——加载数据，可处理缺失数据

genfromtxt(fname, dtype=float, comments=’#’, delimiter=None,skip_header=0, skip_footer=0, converters=None,
missing_values=None, filling_values=None, usecols=None,names=None, excludelist=None,
deletechars=’’.join(sorted(NameValidator.defaultdeletechars)),replace_space=’_’, autostrip=False,
case_sensitive=True,defaultfmt=“f%i”, unpack=None, usemask=False, loose=True,invalid_raise=True, max_rows=None, encoding=‘bytes’)

names=None：设置为True时，程序将把第一行作为列名称。

data.csv文件（不带缺失值）
id,value1,value2,value3
1,123,1.4,23
2,110,0.5,18
3,164,2.1,19

import numpy as np
outfile = 'data.csv'
x = np.genfromtxt(outfile, delimiter=',', names=True)
print(x)
# [(1., 123., 1.4, 23.) (2., 110., 0.5, 18.) (3., 164., 2.1, 19.)]
print(type(x))  
# <class 'numpy.ndarray'>
print(x.dtype)
# [('id', '<f8'), ('value1', '<f8'), ('value2', '<f8'), ('value3', '<f8')]
print(x['id'])  # [1. 2. 3.]
print(x['value1'])  # [123. 110. 164.]
print(x['value2'])  # [1.4 0.5 2.1]
print(x['value3'])  # [23. 18. 19.]

data1.csv文件（带有缺失值）
id,value1,value2,value3
1,123,1.4,23
2,110,18
3,2.1,19

import numpy as np
outfile = 'data1.csv'
x = np.genfromtxt(outfile, delimiter=',', names=True)
print(x)
# [(1., 123., 1.4, 23.) (2., 110., nan, 18.) (3.,  nan, 2.1, 19.)]
print(type(x))  
# <class 'numpy.ndarray'>
print(x.dtype)
# [('id', '<f8'), ('value1', '<f8'), ('value2', '<f8'), ('value3', '<f8')]
print(x['id'])  # [1. 2. 3.]
print(x['value1'])  # [123. 110.  nan]
print(x['value2'])  # [1.4 nan 2.1]
print(x['value3'])  # [23. 18. 19.]

设置输出文本格式选项

set_printoptions()函数——设置当前打印选项

set_printoptions(precision=None, threshold=None, edgeitems=None,linewidth=None, suppress=None, nanstr=None, infstr=None,formatter=None, sign=None, floatmode=None, **kwarg)

参数介绍：
precision：控制输出的小数点个数，默认是8。
threshold=5：控制输出的值的个数为6，其余以…代替，默认是1000；
当threshold=np.nan，意思是输出数组的时候完全输出，不需要省略号将中间数据省略。
linewidth=75：用于确定每行多少字符数后插入换行符，默认为75。
suppress： 默认为False，当suppress=True，表示小数不需要以科学计数法的形式输出。
nanstr=None：浮点非数字的字符串表示形式，默认nan 。
infstr=None：浮点无穷大的字符串表示形式，默认inf 。

get_printoptions()函数——获取当前打印选项。