pandas append性能问题

最新推荐文章于 2024-07-28 16:35:46 发布

whiker

最新推荐文章于 2024-07-28 16:35:46 发布

阅读量8.5k

点赞数 2

分类专栏： kaggle 文章标签： pandas append 性能

本文链接：https://blog.csdn.net/onepiecehuiyu/article/details/52012805

版权

kaggle 专栏收录该内容

7 篇文章 2 订阅

订阅专栏

实际场景：向pandas.Dataframe中添加n条数据

利用pandas.append方法一条一条向其中添加数据，很慢(我向pandas.Dataframe中添加16*715条数据，pc跑了一晚上)

解决方法：利用list将数据封装好，然后再一起加入pandas中

测试样例：

import random
import timeit
import pandas as pd


def func1():
	aa = []
	for x in xrange(200):
		aa.append([random.randint(0, 1000) for r in xrange(5)])
	pdaa = pd.DataFrame(aa)


def func2():
	pdbb = pd.DataFrame()
	for y in xrange(200):
		pdbb[y] = pd.Series([random.randint(0, 1000) for r in xrange(5)])


t1 = timeit.timeit(stmt=func1, number=1000)
t2 = timeit.timeit(stmt=func2, number=1000)
print t1, t2