本文介绍了如何在Python的Pandas库中，通过避免使用for循环来提高数据处理效率。通过直接索引和应用特定方法，如Lang列的str.match()函数，可以实现更快的数据迭代和类型赋值。实验表明，这种方法比传统的循环解决方案速度更快，例如在大型数据集上进行操作时，使用concat()和groupby()函数进行组合模式匹配，能够进一步提升性能。
这将比应用解决方案(和循环解决方案)更快
仅供参考：(这是0.13)。在0.12中，您需要首先创建Type列。在In [36]: data.loc[data.Lang.str.match(pat[0]),'Type'] = 'B'
In [37]: data.loc[data.Lang.str.match(pat[1]),'Type'] = 'A'
In [38]: data
Out[38]:
Lang Type
0 Python B
1 Cython NaN
2 Scipy A
3 Numpy NaN
4 Pandas B
[5 rows x 2 columns]
In [39]: data.fillna('')
Out[39]:
Lang Type
0 Python B
1 Cython
2 Scipy A
3 Numpy
4 Pandas B
[5 rows x 2 columns]
以下是一些时间安排：
^{pr2}$
你最初的想法
^{3}$
直接索引In [42]: %timeit f2(bigdata)
100 loops, best of 3: 17.3 ms per loop
应用In [43]: %timeit f1(bigdata)
10 loops, best of 3: 21.8 ms per loop
这是另一种更通用的方法，它速度更快，prob更有用
如果你想的话
最低0.47元/天 解锁文章
923
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
