巧用groupby解决Dataframe筛选分组效率慢问题

最新推荐文章于 2024-06-21 17:29:18 发布

rabeen

最新推荐文章于 2024-06-21 17:29:18 发布

阅读量5k

点赞数 2

分类专栏： python 文章标签： Dataframe筛选优化 pandas groupby

本文链接：https://blog.csdn.net/rabeen/article/details/79456015

版权

本文探讨了如何通过优化groupby操作，提高在处理大型pandas DataFrame时的筛选和分组性能，从而解决效率慢的问题。

摘要由CSDN通过智能技术生成

原代码：

for name in list_valid_perfor_inventory:
    time_stamp = time.time()
    df_tmp1 = df_all_performance[df_all_performance['res_ins_id'] == name] ###170万行，该语句大约需要2S
    if df_tmp1.empty:
        continue
    del df_tmp1['res_ins_id']
    print('choose time ')
    print(str(time.time() - time_stamp))