python numpy读取txt_numpy中文本文件的快速读取

你从中得到了什么array = np.genfromtxt("testQUADs", delimiter=8, dtype="|S8, i4, i4, i4, f8, f8, f8, |S8")

是一个structured array。在

^{pr2}$

看起来像np.dtype("|S8, i4, i4, i4, f8, f8, f8, |S8")

array.shape是行数；它是一个包含8个字段的1d数组。在

array[0]是这个数组的一个元素或记录；请看它的dtype。不要担心它的type(void只是复合dtype记录的类型)。在

array['f0']是第一个字段，所有行，在本例中是一个字符串数组。在

您可能需要更深入地阅读dtype和structured数组文档。许多海报对genfromtxt产生的一维结构数组感到困惑。在

genfromtxt像代码一样读取文件，并将每一行拆分为字符串。然后它根据dtype转换这些字符串，并将结果收集到一个列表中。最后，它将该列表汇编成array-这个1d数组，该数组具有指定的数据类型。因为它比你的代码做的更多，所以它慢一点就不足为奇了。在

loadtxt也有同样的效果，在某些区域的功率更小。在

pandas有一个csv读取器，速度更快，因为它使用了更多编译的代码。但是数据帧并不比结构化数组更容易理解。在

你的两种方法不会产生相同的结果：In [105]: line = "QUAD4 1 123456 123456781.2345671.2345671.234567 "

In [106]: txt=[line,line,line] # a list of lines instead of a file

In [107]: A = np.genfromtxt(txt, delimiter=8, dtype="|S8, i4, i4, i4, f8, f8, f8, |S8")

In [108]: A

Out[108]:

array([ ('QUAD4 ', 1, 123456, 12345678, 1.234567, 1.234567, 1.234567, ' '),

('QUAD4 ', 1, 123456, 12345678, 1.234567, 1.234567, 1.234567, ' '),

('QUAD4 ', 1, 123456, 12345678, 1.234567, 1.234567, 1.234567, ' ')],

dtype=[('f0', 'S8'), ('f1', '

注意dtype；和3个元素

您的行解析器：In [109]: fn=txt[:]

In [110]: for i, line in enumerate(fn):

l = [line[0:8], line[8:16], line[16:24], line[24:32], line[32:40], line[40:48], line[48:56], line[56:64], line[64:72], line[72:80]]

fn[i] = [l[0].strip(), int(l[1]), int(l[2]), int(l[3]), float(l[4]), float(l[5]), float(l[6]), l[7].strip()]

.....:

In [111]: fn

Out[111]:

[['QUAD4', 1, 123456, 12345678, 1.234567, 1.234567, 1.234567, ''],

['QUAD4', 1, 123456, 12345678, 1.234567, 1.234567, 1.234567, ''],

['QUAD4', 1, 123456, 12345678, 1.234567, 1.234567, 1.234567, '']]

In [112]: A1=np.array(fn)

In [113]: A1

Out[113]:

array([['QUAD4', '1', '123456', '12345678', '1.234567', '1.234567',

'1.234567', ''],

['QUAD4', '1', '123456', '12345678', '1.234567', '1.234567',

'1.234567', ''],

['QUAD4', '1', '123456', '12345678', '1.234567', '1.234567',

'1.234567', '']],

dtype='|S8')

fn是一个列表列表，可以有不同类型的值。但是当你把它放到数组中，它会把所有的东西变成一个字符串。在

我可以将您的fn列表转换为一个结构化数组，其中：In [120]: np.array([tuple(l) for l in fn],dtype=A.dtype)

Out[120]:

array([('QUAD4', 1, 123456, 12345678, 1.234567, 1.234567, 1.234567, ''),

('QUAD4', 1, 123456, 12345678, 1.234567, 1.234567, 1.234567, ''),

('QUAD4', 1, 123456, 12345678, 1.234567, 1.234567, 1.234567, '')],

dtype=[('f0', 'S8'), ('f1', '

这与A中的A相同，除了字符串的填充。在

下面是一个可能有用的变体，尽管它也可能扩展您对结构化数组的了解：In [132]: dt=np.dtype('a8,(3)i,(3)f,a8')

In [133]: A = np.genfromtxt(txt, delimiter=8, dtype=dt)

A现在有4个字段，其中两个字段有多个值

A['f1']将返回一个(n，3)整数数组。在