我想把两个大熊猫系列加在一起.第一个系列非常大,有一个MultiIndex.第二个系列的索引是第一个系列索引的一小部分.
df1 = pd.DataFrame(np.ones((1000,5000)),dtype=int).stack()
df1 = pd.DataFrame(df1, columns = ['total'])
df2 = pd.concat([df1.iloc[50:55],df1.iloc[2000:2005]]) # df2 is tiny subset of df1
使用常规的Series.add函数第一次需要大约9秒,后续尝试需要2秒(可能是因为pandas优化了df在内存中的存储方式?).
starttime = time.time()
df1.total.add(df2.total,fill_value=0).sum()
print "Method 1 took %f seconds" % (time.time() - starttime)
手动迭代行大约是Series.add第一次的2/3,并且在后续尝试时大约是Series.add的1/100.
starttime = time.time()
result = df1.total.copy()
for row_index, row in df2.iterrows():
result[row_index] += row
print "Method 2 took %f seconds" % (time.time() - starttime)
当(如此处)索引是MultiIndex时,速度差异尤其明显.
为什么Series.add在这里不能正常工作?有什么建议加快这个?迭代系列的每个元素是否有更有效的替代方法?
另外,如何对数据框进行排序或构造以提高任一方法的性能?第二次运行这些方法中的任何一个都要快得多.我如何第一次获得这种表现?使用sort_index进行排序只能有所帮助.