Numpy组队学习--day1--输入输出

摘要：numpy是数据处理最为常用的科学工具之一，那它到底有什么功能呢。输入和输出是一种我们直观感受最明显的，有时候将会是我们做实验找到小细节的好idea.本文将最基础的一部分，关于各种类型数据的输入输出与保存。

一、有哪些文件类型

        numpy中可以处理的文件类型常有以下几种：二进制文件（（npy、npz）、文本文件（txt、csv等）

二、二进制文件的输入和输出

         save() 、 savez() 和 load() 函数以 numpy 专用的二进制类型（npy、npz）保存和读取数据，这 三个函数会自动处理ndim、dtype、shape等信息，使用它们读写数组非常方便，但是 save() 输出 的文件很难与其它语言编写的程序兼容。

npy格式：以二进制的方式存储文件，在二进制文件第一行以文本形式保存了数据的元信息（ndim， dtype，shape等），可以用二进制工具查看内容。

npz格式：以压缩打包的方式存储文件，可以用压缩软件解压。

numpy.save(file, arr, allow_pickle=True, fix_imports=True) Save an array to a binary file in NumPy .npy format.

numpy.load(file, mmap_mode=None, allow_pickle=False, fix_imports=True,encoding='ASCII') Load arrays or pickled objects from .npy , .npz or pickled files.

mumpy中命名很直观，从单词含义就可以反映出它是干嘛的，要注意的是save保存的数据类型比较难与其他语言兼容。

eg:

import numpy as np

#outfile:保存的文件名变量
outfile = r'.\test.npy'
np.random.seed(20200619)
x = np.random.uniform(0, 1, [3, 5])
#save：传入保存名和地址，x代表要存的数组
np.save(outfile, x)
y = np.load(outfile)
print(y)
# [[0.01123594 0.66790705 0.50212171 0.7230908 0.61668256]
# [0.00668332 0.1234096 0.96092409 0.67925305 0.38596837]
# [0.72342998 0.26258324 0.24318845 0.98795012 0.77370715]]

numpy.savez(file, *args, **kwds) Save several arrays into a single file in uncompressed .npzformat. savez()

第一个参数是文件名，其后的参数都是需要保存的数组，也可以使用关键字参数为数组起一 个名字，非关键字参数传递的数组会自动起名为 arr_0, arr_1, … 。 savez() 输出的是一个压缩文件（扩展名为npz），其中每个文件都是一个 save() 保存的npy文件， 文件名对应于数组名。 load() 自动识别npz文件，并且返回一个类似于字典的对象，可以通过数组名 作为关键字获取数组的内容。

【例】将多个数组保存到一个文件，可以使用 numpy.savez() 函数。

import numpy as np
outfile = r'.\test.npz'
x = np.linspace(0, np.pi, 5)
y = np.sin(x)
z = np.cos(x)
np.savez(outfile, x, y, z_d=z)
data = np.load(outfile)
np.set_printoptions(suppress=True)
print(data.files)
# ['z_d', 'arr_0', 'arr_1']
print(data['arr_0'])
# [0. 0.78539816 1.57079633 2.35619449 3.14159265]
print(data['arr_1'])
# [0. 0.70710678 1. 0.70710678 0. ]
print(data['z_d'])
# [ 1. 0.70710678 0. ‐0.70710678 ‐1. ]

用解压软件打开 test.npz 文件，会发现其中有三个文件： arr_0.npy,arr_1.npy,z_d.npy ，其中分别 保存着数组 x,y,z 的内容。

三、文本文件

savetxt() ， loadtxt() 和 genfromtxt() 函数用来存储和读取文本文件（如TXT，CSV等）。genfromtxt() 比 loadtxt() 更加强大，可对缺失数据进行处理。

numpy.savetxt(fname, X, fmt='%.18e', delimiter=' ', newline='\n', header='', footer='', comments='# ', encoding=None) Save an array to a text file.

fname：文件路径 X：存入文件的数组。

fmt：写入文件中每个元素的字符串格式，默认'%.18e'（保留18位小数的浮点数形式）。 delimiter：分割字符串，默认以空格分隔。

numpy.loadtxt(fname, dtype=float, comments='#', delimiter=None, converters=None,skiprows=0, usecols=None, unpack=False, ndmin=0, encoding='bytes', max_rows=None) Load data from a text file.

fname：文件路径。 dtype：数据类型，默认为float。

comments: 字符串或字符串组成的列表，默认为# ， 表示注释字符集开始的标志。 skiprows：跳过多少行，一般跳过第一行表头。

usecols：元组（元组内数据为列的数值索引）， 用来指定要读取数据的列（第一列为 0）。 unpack：当加载多列数据时是否需要将数据列进行解耦赋值给不同的变量。

eg写入和读出TXT文件:

import numpy as np
outfile = r'.\test.txt'
x = np.arange(0, 10).reshape(2, ‐1)
np.savetxt(outfile, x)
y = np.loadtxt(outfile)
print(y)
# [[0. 1. 2. 3. 4.]
# [5. 6. 7. 8. 9.]]

test.txt文件如下：

0.000000000000000000e+00 1.000000000000000000e+00 2.000000000000000000e+00 3.000000000000000000e+00 4.000000000000000000e+00 5.000000000000000000e+00 6.000000000000000000e+00 7.000000000000000000e+00 8.000000000000000000e+00 9.000000000000000000e+00

 

eg写入和读出CSV文件

import numpy as np
outfile = r'.\test.csv'
x = np.arange(0, 10, 0.5).reshape(4, ‐1)
np.savetxt(outfile, x, fmt='%.3f', delimiter=',')
y = np.loadtxt(outfile, delimiter=',')
print(y)
# [[0. 0.5 1. 1.5 2. ]
# [2.5 3. 3.5 4. 4.5]
# [5. 5.5 6. 6.5 7. ]
# [7.5 8. 8.5 9. 9.5]]

test.csv文件如下：

0.000,0.500,1.000,1.500,2.000

2.500,3.000,3.500,4.000,4.500

5.000,5.500,6.000,6.500,7.000

7.500,8.000,8.500,9.000,9.500

genfromtxt() 是面向结构数组和缺失数据处理的。

numpy.genfromtxt(fname, dtype=float, comments='#', delimiter=None, skip_header=0, skip_footer=0, converters=None, missing_values=None, filling_values=None, usecols=None, names=None,excludelist=None,deletechars=''.join(sorted(NameValidator.defaultdeletechars)), replace_space='_', autostrip=False, case_sensitive=True, defaultfmt="f%i", unpack=None, usemask=False, loose=True, invalid_raise=True, max_rows=None, encoding='bytes')

Load data from a text file, with missing values handled as specified.

names：设置为True时，程序将把第一行作为列名称。

data.csv文件如下： id,value1,value2,value3

                                1,123,1.4,23

                                2,110,0.5,18 

                                3,164,2.1,19

eg:

import numpy as np
outfile = r'.\data.csv'
x = np.loadtxt(outfile, delimiter=',', skiprows=1)
print(x)
# [[ 1. 123. 1.4 23. ]
# [ 2. 110. 0.5 18. ]
# [ 3. 164. 2.1 19. ]]
x = np.loadtxt(outfile, delimiter=',', skiprows=1, usecols=(1, 2))
print(x)
# [[123. 1.4]
# [110. 0.5]
# [164. 2.1]]
val1, val2 = np.loadtxt(outfile, delimiter=',', skiprows=1, usecols=(1, 2), unpack=True)
print(val1) # [123. 110. 164.]
print(val2) # [1.4 0.5 2.1]
【例】
import numpy as np
outfile = r'.\data.csv'
x = np.genfromtxt(outfile, delimiter=',', names=True)
print(x)
# [(1., 123., 1.4, 23.) (2., 110., 0.5, 18.) (3., 164., 2.1, 19.)]
print(type(x))
# <class 'numpy.ndarray'>
print(x.dtype)
# [('id', '<f8'), ('value1', '<f8'), ('value2', '<f8'), ('value3', '<f8')]
print(x['id']) # [1. 2. 3.]
print(x['value1']) # [123. 110. 164.]
print(x['value2']) # [1.4 0.5 2.1]
print(x['value3']) # [23. 18. 19.]

data1.csv文件

id,value1,value2,value3

1,123,1.4,23

2,110,,18

3,,2.1,19

【例】
import numpy as np
outfile = r'.\data1.csv'
x = np.genfromtxt(outfile, delimiter=',', names=True)
print(x)
# [(1., 123., 1.4, 23.) (2., 110., nan, 18.) (3., nan, 2.1, 19.)]
print(type(x))
# <class 'numpy.ndarray'>
print(x.dtype)
# [('id', '<f8'), ('value1', '<f8'), ('value2', '<f8'), ('value3', '<f8')]
print(x['id']) # [1. 2. 3.]
print(x['value1']) # [123. 110. nan]
print(x['value2']) # [1.4 nan 2.1]
print(x['value3']) # [23. 18. 19.]

---

1. 总结：输入输出是程序最基本也是极为重要的一部分，首先要白它处理什么数据，再去了解怎么处理。