numpy输入与输出

内容来源为datawhale的开源学习内容

输入输出类型

1.二进制文件类型

save(),savez(),load()是通过二进制类型（npy,npz）保存和读取文件，

• npy格式：以二进制的方式存储文件，在二进制文件第一行以文本形式保存了数据的元信息（ndim,dtype,shape等），可以用二进制工具查看内容
• npz格式：以压缩打包方式存储文件，可以用压缩软件解压

import numpy as np
outfile=r'.\test.npy'
np.random.seed(0)
x=np.random.uniform(0,1,[3,5])
np.save(outfile,x)
#numpy.save(file,arr)以.npy文件形式将arr存入二进制文件中
y=np.load(outfile)
#numpy.load(file)加载.npy格式/.npz格式的二进制文件
print(y)
#输出
# [[0.5488135  0.71518937 0.60276338 0.54488318 0.4236548 ]
#  [0.64589411 0.43758721 0.891773   0.96366276 0.38344152]
#  [0.79172504 0.52889492 0.56804456 0.92559664 0.07103606]]

• 将多个数组保存到一个文件，可以使用numpy.savez()函数

import numpy as np

outfile=r'.\test.npz'
x=np.linspace(0,np.pi,5)
y=np.sin(x)
z=np.cos(x)
np.savez(outfile,x,y,z_d=z)
#savez()第一个参数是文件名，其后的参数都是需要保存的数组，可以使用关键字参数为数组起名字，非关键字传递的参数会自动起名为arr_0,arr_1
data=np.load(outfile)
#load()自动识别npz文件，并且返回一个类似于字典的对象，可以通过数组名作为关键字获取数组的内容
np.set_printoptions(suppress=True)
print(data)
# <numpy.lib.npyio.NpzFile object at 0x7faf142bf790>

print(data.files)
# ['z_d', 'arr_0', 'arr_1']
print(data['arr_0'])
# [0.         0.78539816 1.57079633 2.35619449 3.14159265]
print(data['arr_1'])
# [0.         0.70710678 1.         0.70710678 0.        ]
print(data['z_d'])
# [ 1.          0.70710678  0.         -0.70710678 -1.        ]

2.文本文件

savetxt(),loadtxt(),genfromtxt()用来存储和读取文本文件（txt,csv）,genfromtxt()比loadtxt()更加强大，可以对缺失数据进行处理

• 例：写入和读取txt文件

import numpy as np

outfile=r'./test.txt'
x=np.arange(0,10).reshape(2,-1)
np.savetxt(outfile,x)
#numpy.savetxt(fname:文件路径，X:存入文件的数组,fmt='%.18e'字符串格式，默认'%.18e',保留18位小数的科学计数法格式，delimiter=' '默认以空格分割字符)
y=np.loadtxt(outfile)
#numpy.ladtxt(fname:文件路径,dtype=float,comments='#'注释字符集开始的标志为#，skiprows:跳过多少行，usecols:指定要读取数据的列(第一列为0))
print(y)
# [[0. 1. 2. 3. 4.]
#  [5. 6. 7. 8. 9.]]

• 例：写入和读出csv文件

import numpy as np

outfile=r'./test.csv'
x=np.arange(0,10,0.5).reshape(4,-1)
np.savetxt(outfile,x,fmt='%.3f',delimiter=',')
y=np.loadtxt(outfile,delimiter=',')
print(y)
# [[0.  0.5 1.  1.5 2. ]
#  [2.5 3.  3.5 4.  4.5]
#  [5.  5.5 6.  6.5 7. ]
#  [7.5 8.  8.5 9.  9.5]]

genfromtxt()面向结构数组和缺失数据处理

• numpy.genfrontxt(fname,dtype=float,comments=’#’,skip_header=None)
• names设置为True时，程序将第一列作为列名称

#data.csv文件如下：
# id,value1,value2,value3
# 1, 123., 1.4, 23.
# 2,  110., 0.5, 18. 
# 3,  164. , 2.1 ,19. 

import numpy as np

outfile=r'./data.csv'
x=np.loadtxt(outfile,delimiter=',',skiprows=1)
print(x)
# [[  1.  123.    1.4  23. ]
#  [  2.  110.    0.5  18. ]
#  [  3.  164.    2.1  19. ]]

x=np.loadtxt(outfile,delimiter=',',skiprows=1,usecols=(1,2))
print(x)
# [[123.    1.4]
#  [110.    0.5]
#  [164.    2.1]]
val1,val2=np.loadtxt(outfile,delimiter=',',skiprows=1,usecols=(1,2),unpack=True)
print(val1)
# [123. 110. 164.]
print(val2)
# [1.4 0.5 2.1]

import numpy as np

outfile=r'./data.csv'
x=np.genfromtxt(outfile,delimiter=',',names=True)
print(x)
# [(1., 123., 1.4, 23.) (2., 110., 0.5, 18.) (3., 164., 2.1, 19.)]
print(type(x))
# <class 'numpy.ndarray'>
print(x.dtype)
# [('\ufeffid', '<f8'), ('value1', '<f8'), ('value2', '<f8'), ('value3', '<f8')]
print(x['\ufeffid'])
# [1. 2. 3.]
print(x['value1'])
# [123. 110. 164.]
print(x['value2'])
# [1.4 0.5 2.1]
print(x['value3'])
# [23. 18. 19.]

import numpy as np

outfile=r'./data1.csv'
x=np.genfromtxt(outfile,delimiter=',',names=True)
print(x)
# [(1., 123., 1.4, 23.) (2., 110., nan, 18.) (3.,  nan, 2.1, 19.)]
print(type(x))
# <class 'numpy.ndarray'>
print(x.dtype)
# [('\ufeffid', '<f8'), ('value1', '<f8'), ('value2', '<f8'), ('value3', '<f8')]
print(x['\ufeffid'])
# [1. 2. 3.]
print(x['value1'])
# [123. 110.  nan]
print(x['value2'])
# [1.4 nan 2.1]
print(x['value3'])
# [23. 18. 19.]

文本格式选项

numpy.set_printoptions(precision=None,threshold=None,linewidth:None,suppress=None,naastr:None,infstr:None)

• threshold:概略显示，超过这个值以’…'显示，默认1000
• linewidth:用于确定每行多少字符后插入换行符，默认75
• nanstr:浮点非数字的字符串表示形式，默认nan
• infstr:浮点无穷大的字符串表示形式，默认inf

np.set_printoptions(threshold=20)#20个字符后以...显示
x=np.arange(50)
print(x)
# [ 0  1  2 ... 47 48 49]
np.set_printoptions(threshold=np.iinfo(np.int).max)
print(x)
# [ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
#  24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47
#  48 49]

• suppress:True时表示不需要以科学计数法形式输出，默认False

np.set_printoptions(suppress=False)
eps=np.finfo(float).eps
x=np.arange(4.)
x=x**2-(x+eps)**2
print(x)
# [-4.93038066e-32 -4.44089210e-16  0.00000000e+00  0.00000000e+00]
np.set_printoptions(suppress=True)
print(x)
# [-0. -0.  0.  0.]

• precision:浮点精度，控制输出的小数点个数，默认为8

np.set_printoptions(precision=4)
x=np.linspace(0,10,10)
print(x)
# [ 0.      1.1111  2.2222  3.3333  4.4444  5.5556  6.6667  7.7778  8.8889
#  10.    ]
np.set_printoptions(precision=2,suppress=True,threshold=5)
print(x)
# [ 0.    1.11  2.22 ...  7.78  8.89 10.  ]

• np.get_printoptions()#返回现在的文本格式

np.get_printoptions()#返回现在的文本格式
# {'edgeitems': 3,
#  'threshold': 5,
#  'floatmode': 'maxprec',
#  'precision': 2,
#  'suppress': True,
#  'linewidth': 75,
#  'nanstr': 'nan',
#  'infstr': 'inf',
#  'sign': '-',
#  'formatter': None,
#  'legacy': False}

作业

1.只打印或显示numpy数组rand_arr的小数点后3位

• rand_arr=np.random.random([5,3])

import numpy as np
np.set_printoptions(precision=3)

rand_arr=np.random.random([5,3])
print(rand_arr)
# [[0.087 0.02  0.833]
#  [0.778 0.87  0.979]
#  [0.799 0.461 0.781]
#  [0.118 0.64  0.143]
#  [0.945 0.522 0.415]]

2.将numpy数组a中打印的项数限制为最多6个元素

import numpy as np
np.set_printoptions(threshold=6)

a=np.arange(15)
print(a)
# [ 0  1  2 ... 12 13 14]

3.打印完整的numpy数组a而不中断

import numpy as np
np.set_printoptions(threshold=100)

a=np.arange(15)
print(a)
# [ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14]