python如何读取数据框中的数据_python – 从文本文件中读取数据并将其分配给数据框的最快方法是什么？...

在pandas中按元素查找元素是一项昂贵的操作,因此按索引进行对齐.我会将所有内容读入数组,创建值的DataFrame,然后直接设置层次结构索引.如果你可以避免追加或查找通常会快得多.

下面是一个示例结果,假设您有一个数据集2-D数组,其中包含所有内容：

In [106]: dataset

Out[106]:

array([[1, 1, 0, 1],

[1, 1, 1, 2],

[1, 2, 1, 3],

[1, 2, 2, 4],

[2, 1, 0, 5],

[2, 1, 2, 6]])

In [107]: pd.DataFrame(dataset,columns=['A','B','C', 'data']).set_index(['A', 'B', 'C'])

...:

Out[107]:

data

A B C

1 1 0 1

1 2

2 1 3

2 4

2 1 0 5

2 6

In [108]: data_values = dataset[:, 3]

...: data_index = pd.MultiIndex.from_arrays( dataset[:,:3].T, names=list('ABC'))

...: pd.DataFrame(data_values, columns=['data'], index=data_index)

...:

Out[108]:

data

A B C

1 1 0 1

1 2

2 1 3

2 4

2 1 0 5

2 6

In [109]: %timeit pd.DataFrame(dataset,columns=['A','B','C', 'data']).set_index(['A', 'B', 'C'])

%%timeit

1000 loops, best of 3: 1.75 ms per loop

In [110]: %%timeit

...: data_values = dataset[:, 3]

...: data_index = pd.MultiIndex.from_arrays( dataset[:,:3].T, names=list('ABC'))

...: pd.DataFrame(data_values, columns=['data'], index=data_index)

...:

1000 loops, best of 3: 642 µs per loop