项目场景:
提示:这里简述项目相关背景:
对有超过200w条数据的dataframe中数据进行预处理
工具:python 3.10.9, Jupyter notebook
问题描述
提示:这里描述项目中遇到的问题:
for循环速度极慢,10分钟未见报错/结果
代码形如:
for i in range(len(df)):
l = []
l.append(df.iloc[i][0])```
原因分析:
pandas.iloc方法速度慢,这一点在数据量小的情况下难以在不监测的情况下体现,但是在数据量较大时会出现耗时过长
解决方案:
将data frame 转换成字典