实际场景:向pandas.Dataframe中添加n条数据
利用pandas.append方法一条一条向其中添加数据,很慢(我向pandas.Dataframe中添加16*715条数据,pc跑了一晚上)
解决方法:利用list将数据封装好,然后再一起加入pandas中
测试样例:
import random
import timeit
import pandas as pd
def func1():
aa = []
for x in xrange(200):
aa.append([random.randint(0, 1000) for r in xrange(5)])
pdaa = pd.DataFrame(aa)
def func2():
pdbb = pd.DataFrame()
for y in xrange(200):
pdbb[y] = pd.Series([random.randint(0, 1000) for r in xrange(5)])
t1 = timeit.timeit(stmt=func1, number=1000)
t2 = timeit.timeit(stmt=func2, number=1000)
print t1, t2