numpy genfromtxt 读取字符_Numpy学习打卡task01

最新推荐文章于 2022-07-31 09:38:08 发布

weixin_39951181

最新推荐文章于 2022-07-31 09:38:08 发布

阅读量111

点赞数

文章标签： numpy genfromtxt 读取字符 numpy读取txt 深度学习读取数据很慢

今天带来的是Datawhale自主学习Numpy下学习打卡笔记第一部分—输入输出(为什么没有上，别问，问就是numpy.tan(90))。本文大致介绍了numpy的相关背景知识。本文素材来自网络及datawhale，纠错指正、深入探讨，咱们评论区见。

numpy是什么

numpy 读作“馕派”，是 Python 编程语言的一个库，它增加了对大型多维数组和矩阵的支持，以及对这些数组进行操作的大量高级数学函数的集合。NumPy 的祖先 Numeric 最初是由 Jim Hugunin 创建的，并得到了其他几个开发者的贡献。2005年，Travis Oliphant在对Numeric进行大量修改后，将竞争性的Numarray的功能融入到Numeric中，创建了NumPy。NumPy是一个开源软件，有许多贡献者。 NumPy的目标是Python的CPython参考实现，它是一个非优化的字节码解释器。为这个版本的Python编写的数学算法通常比编译后的等价物运行速度慢得多。NumPy通过提供多维数组和对数组进行有效操作的函数和运算符来部分解决慢的问题，需要使用NumPy重写一些代码，主要是内部循环。在Python中使用NumPy可以得到与MATLAB相当的功能，因为它们都是解释型的，而且只要大部分操作是在数组或矩阵上进行的，而不是在标量上进行的，它们都允许用户编写快速的程序。相比之下，MATLAB拥有大量的附加工具箱，尤其是Simulink，而NumPy则与Python内在地集成在一起，Python是一种更现代、更完整的编程语言。此外，还提供了互补的Python包，SciPy是一个增加了更多类似MATLAB功能的库，Matplotlib是一个提供类似MATLAB绘图功能的绘图包。在内部，MATLAB和NumPy都依靠BLAS和LAPACK进行高效的线性代数计算。广泛使用的计算机视觉库OpenCV的Python绑定利用NumPy数组来存储和操作数据。由于具有多个通道的图像被简单地表示为三维数组，因此用其他数组进行索引、切片或遮蔽是访问图像特定像素的非常有效的方法。NumPy数组作为OpenCV中图像、提取特征点、滤波核等的通用数据结构，极大地简化了编程工作流程和调试。【1】 numpy开源地址：https://github.com/numpy/numpy

numpy的局限

在数组中插入或追加条目并不像使用 Python 的 list 那样简单。用于扩展数组的 np.pad(...) 例程实际上创建了具有所需形状和填充值的新数组，将给定数组复制到新数组中并返回。NumPy的np.concatenate([a1,a2])操作实际上并没有将两个数组连接起来，而是返回一个新的数组，按顺序填入两个给定数组的条目。使用 np.reshape(...)重塑一个数组的维度，只有在数组中的元素数量不变的情况下才有可能。这些情况源于NumPy的数组必须是连续内存缓冲区上的视图。一个名为Blaze的替换包试图克服这个限制。不能表达为向量化操作的算法通常会运行得很慢，因为它们必须用 "纯Python "来实现，而向量化可能会增加一些操作的内存复杂度，从常量到线性，因为必须创建和输入一样大的临时数组。一些小组已经实现了数值代码的运行时编译以避免这些问题；与NumPy互操作的开源解决方案包括scipy.weave、numexpr和Numba，Cython和Pythran是这些静态编译的替代品。许多现代大规模科学计算应用的要求超出了NumPy数组的能力。例如，NumPy数组通常被加载到计算机的内存中，这对于大型数据集的分析来说可能容量不足。此外，NumPy操作是在一台计算机的CPU上执行的。然而，许多线性代数操作可以通过在CPU的集群或专门的硬件(如GPU和TPU)上执行来加速，许多深度学习应用都依赖于这些硬件。因此，在过去的几年里，科学python生态系统中出现了一些替代性的数组实现，例如用于分布式数组的Dask和用于GPU计算的TensorFlow或JAX。由于Numpy的流行，它们通常实现了Numpy的API的一个子集或模仿它，因此用户可以改变他们的数组实现，而只需要对他们的代码进行最小的修改【1】。

numpy相关资源

numpy 开源社区地址 https://numpy.org/doc/stable/index.html 遇到不太了解的组件参数可以直接在搜索栏搜索例如：numpy.save()

numpy 中文社区 https://www.numpy.org.cn/reference/ 由于还在翻译搬运中，所以部分内容可能更新不够及时，亲测无法使用搜索功能。

numpy Github开源地址：https://github.com/numpy/numpy

俺的入门常用numpy操作命令合集： https://github.com/neowalter/DA_fundamental_python/blob/main/numpy_foundation.ipynb

更多资源numpy资源搜索方式(手把手系列) https://baidu.bqrdh.com/?q=bnVtcHk=

Datawhale学习讲义

numpy 二进制文件

save()、savez()和load()函数以 numpy 专用的二进制类型(npy、npz)保存和读取数据，这三个函数会自动处理ndim、dtype、shape等信息，使用它们读写数组非常方便，但是save()输出的文件很难与其它语言编写的程序兼容。

npy格式：以二进制的方式存储文件，在二进制文件第一行以文本形式保存了数据的元信息(ndim，dtype，shape等)，可以用二进制工具查看内容。

npz格式：以压缩打包的方式存储文件，可以用压缩软件解压。

numpy.save(file, arr, allow_pickle=True, fix_imports=True) Save an array to a binary file in NumPy .npy format.
numpy.load(file, mmap_mode=None, allow_pickle=False, fix_imports=True, encoding='ASCII') Load arrays or pickled objects from .npy, .npz or pickled files.

【例】

import numpy as np
outfile = r'.\test.npy'
np.random.seed(20200619)
x = np.random.uniform(0, 1, [3, 5])
np.save(outfile, x)
y = np.load(outfile)
print(y)# [[0.01123594 0.66790705 0.50212171 0.7230908  0.61668256]#  [0.00668332 0.1234096  0.96092409 0.67925305 0.38596837]#  [0.72342998 0.26258324 0.24318845 0.98795012 0.77370715]]

numpy.savez(file, *args, **kwds) Save several arrays into a single file in uncompressed .npz format.

savez()第一个参数是文件名，其后的参数都是需要保存的数组，也可以使用关键字参数为数组起一个名字，非关键字参数传递的数组会自动起名为arr_0, arr_1, …。

savez()输出的是一个压缩文件(扩展名为npz)，其中每个文件都是一个save()保存的npy文件，文件名对应于数组名。load()自动识别npz文件，并且返回一个类似于字典的对象，可以通过数组名作为关键字获取数组的内容。

【例】将多个数组保存到一个文件，可以使用numpy.savez()函数。

import numpy as np
outfile = r'.\test.npz'
x = np.linspace(0, np.pi, 5)
y = np.sin(x)
z = np.cos(x)
np.savez(outfile, x, y, z_d=z)
data = np.load(outfile)
np.set_printoptions(suppress=True)
print(data.files)  # ['z_d', 'arr_0', 'arr_1']
print(data['arr_0'])# [0.         0.78539816 1.57079633 2.35619449 3.14159265]
print(data['arr_1'])# [0.         0.70710678 1.         0.70710678 0.        ]
print(data['z_d'])# [ 1.          0.70710678  0.         -0.70710678 -1.        ]

用解压软件打开 test.npz 文件，会发现其中有三个文件：arr_0.npy,arr_1.npy,z_d.npy，其中分别保存着数组x,y,z的内容。

文本文件

savetxt()，loadtxt()和genfromtxt()函数用来存储和读取文本文件(如TXT，CSV等)。genfromtxt()比loadtxt()更加强大，可对缺失数据进行处理。

numpy.savetxt(fname, X, fmt='%.18e', delimiter=' ', newline='\n', header='', footer='', comments='# ', encoding=None) Save an array to a text file.
- fname：文件路径
- X：存入文件的数组。
- fmt：写入文件中每个元素的字符串格式，默认’%.18e’(保留18位小数的浮点数形式)。
- delimiter：分割字符串，默认以空格分隔。
numpy.loadtxt(fname, dtype=float, comments='#', delimiter=None, converters=None, skiprows=0, usecols=None, unpack=False, ndmin=0, encoding='bytes', max_rows=None) Load data from a text file.
- fname：文件路径。
- dtype：数据类型，默认为float。
- comments: 字符串或字符串组成的列表，默认为# ，表示注释字符集开始的标志。
- skiprows：跳过多少行，一般跳过第一行表头。
- usecols：元组(元组内数据为列的数值索引)，用来指定要读取数据的列(第一列为0)。
- unpack：当加载多列数据时是否需要将数据列进行解耦赋值给不同的变量。

【例】写入和读出TXT文件。

import numpy as np
outfile = r'.\test.txt'
x = np.arange(0, 10).reshape(2, -1)
np.savetxt(outfile, x)
y = np.loadtxt(outfile)
print(y)# [[0. 1. 2. 3. 4.]#  [5. 6. 7. 8. 9.]]

test.txt文件如下：

0.000000000000000000e+00 1.000000000000000000e+00 2.000000000000000000e+00 3.000000000000000000e+00 4.000000000000000000e+00
5.000000000000000000e+00 6.000000000000000000e+00 7.000000000000000000e+00 8.000000000000000000e+00 9.000000000000000000e+00

【例】写入和读出CSV文件。

import numpy as np
outfile = r'.\test.csv'
x = np.arange(0, 10, 0.5).reshape(4, -1)
np.savetxt(outfile, x, fmt='%.3f', delimiter=',')
y = np.loadtxt(outfile, delimiter=',')
print(y)# [[0.  0.5 1.  1.5 2. ]#  [2.5 3.  3.5 4.  4.5]#  [5.  5.5 6.  6.5 7. ]#  [7.5 8.  8.5 9.  9.5]]

test.csv文件如下：

0.000,0.500,1.000,1.500,2.000
2.500,3.000,3.500,4.000,4.500
5.000,5.500,6.000,6.500,7.000
7.500,8.000,8.500,9.000,9.500

genfromtxt()是面向结构数组和缺失数据处理的。

numpy.genfromtxt(fname, dtype=float, comments='#', delimiter=None, skip_header=0, skip_footer=0, converters=None, missing_values=None, filling_values=None, usecols=None, names=None, excludelist=None, deletechars=''.join(sorted(NameValidator.defaultdeletechars)), replace_space='_', autostrip=False, case_sensitive=True, defaultfmt="f%i", unpack=None, usemask=False, loose=True, invalid_raise=True, max_rows=None, encoding='bytes') Load data from a text file, with missing values handled as specified.
- names：设置为True时，程序将把第一行作为列名称。

data.csv文件如下：

id,value1,value2,value3
1,123,1.4,23
2,110,0.5,18
3,164,2.1,19

【例】

import numpy as np
outfile = r'.\data.csv'
x = np.loadtxt(outfile, delimiter=',', skiprows=1)
print(x)# [[  1.  123.    1.4  23. ]#  [  2.  110.    0.5  18. ]#  [  3.  164.    2.1  19. ]]
x = np.loadtxt(outfile, delimiter=',', skiprows=1, usecols=(1, 2))
print(x)# [[123.    1.4]#  [110.    0.5]#  [164.    2.1]]
val1, val2 = np.loadtxt(outfile, delimiter=',', skiprows=1, usecols=(1, 2), unpack=True)
print(val1)  # [123. 110. 164.]
print(val2)  # [1.4 0.5 2.1]

【例】

import numpy as np
outfile = r'.\data.csv'
x = np.genfromtxt(outfile, delimiter=',', names=True)
print(x)# [(1., 123., 1.4, 23.) (2., 110., 0.5, 18.) (3., 164., 2.1, 19.)]
print(type(x))  # 
print(x.dtype)# [('id', '
print(x['id'])  # [1. 2. 3.]
print(x['value1'])  # [123. 110. 164.]
print(x['value2'])  # [1.4 0.5 2.1]
print(x['value3'])  # [23. 18. 19.]

data1.csv文件

id,value1,value2,value3
1,123,1.4,23
2,110,,18
3,,2.1,19

【例】

import numpy as np
outfile = r'.\data1.csv'
x = np.genfromtxt(outfile, delimiter=',', names=True)
print(x)# [(1., 123., 1.4, 23.) (2., 110., nan, 18.) (3.,  nan, 2.1, 19.)]
print(type(x))  # 
print(x.dtype)# [('id', '
print(x['id'])  # [1. 2. 3.]
print(x['value1'])  # [123. 110.  nan]
print(x['value2'])  # [1.4 nan 2.1]
print(x['value3'])  # [23. 18. 19.]

文本格式选项

numpy.set_printoptions(precision=None,threshold=None, edgeitems=None,linewidth=None, suppress=None, nanstr=None, infstr=None,formatter=None, sign=None, floatmode=None, **kwarg) Set printing options.
- precision：设置浮点精度，控制输出的小数点个数，默认是8。
- threshold：概略显示，超过该值则以“…”的形式来表示，默认是1000。
- linewidth：用于确定每行多少字符数后插入换行符，默认为75。
- suppress：当suppress=True，表示小数不需要以科学计数法的形式输出，默认是False。
- nanstr：浮点非数字的字符串表示形式，默认nan。
- infstr：浮点无穷大的字符串表示形式，默认inf。

These options determine the way floating point numbers, arrays and other NumPy objects are displayed.

【例】

import numpy as np
np.set_printoptions(precision=4)
x = np.array([1.123456789])
print(x)  # [1.1235]
np.set_printoptions(threshold=20)
x = np.arange(50)
print(x)  # [ 0  1  2 ... 47 48 49]
np.set_printoptions(threshold=np.iinfo(np.int).max)
print(x)# [ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23#  24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47#  48 49]
eps = np.finfo(float).eps
x = np.arange(4.)
x = x ** 2 - (x + eps) ** 2
print(x)  # [-4.9304e-32 -4.4409e-16  0.0000e+00  0.0000e+00]
np.set_printoptions(suppress=True)
print(x)  # [-0. -0.  0.  0.]
x = np.linspace(0, 10, 10)
print(x)# [ 0.      1.1111  2.2222  3.3333  4.4444  5.5556  6.6667  7.7778  8.8889#  10.    ]
np.set_printoptions(precision=2, suppress=True, threshold=5)
print(x)  # [ 0.    1.11  2.22 ...  7.78  8.89 10.  ]

numpy.get_printoptions() Return the current print options.

【例】

import numpy as np
x = np.get_printoptions()
print(x)# {# 'edgeitems': 3, # 'threshold': 1000, # 'floatmode': 'maxprec', # 'precision': 8, # 'suppress': False, # 'linewidth': 75, # 'nanstr': 'nan', # 'infstr': 'inf', # 'sign': '-', # 'formatter': None, # 'legacy': False# }

讲义地址：http://datawhale.club/t/topic/266

【1】WIKI百科 https://en.wikipedia.org/wiki/NumPy精彩推荐

数据分析的Python之路

IT项目管理

NLP学习笔记

weixin_39951181

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
numpy genfromtxt 读取字符_Numpy学习打卡task01

今天带来的是Datawhale自主学习Numpy下学习打卡笔记第一部分—输入输出(为什么没有上，别问，问就是numpy.tan(90))。本文大致介绍了numpy的相关背景知识。本文素材来自网络及datawhale，纠错指正、深入探讨，咱们评论区见。numpy是什么numpy 读作“馕派”，是 Python 编程语言的一个库，它增加了对大型多维数组和矩阵的支持，以及对这些数组进行操作的...
复制链接

扫一扫