本文介绍了在处理大规模数据时，如何利用numpy库来实现类似pandas group by的功能，特别是针对千万级数据的Top1推荐场景。内容包括问题描述和具体实现代码，通过这种方法优化了推荐系统的用户物品分值计算和推送名单的生成过程。
Pandas下的group by操作速度慢，在百万级数据量下可以使用PyFunctional下的group by，千万级速度又吃不消了，可以借助numpy，但实现有点麻烦，记录一下。
一、问题描述
【推荐场景】输入二维数组a，千万行，3列，第一列是用户id，第二列是物品id，第三列是分值。先计算每个用户下分值最高的物品（Top1推荐），然后按照物品将这些用户组合起来（推送名单）。
二、实现代码
a = a[a[:, 0].argsort()] # 按照user_id排序（排序是使用np.split进行分组的前提）
a = np.spl
最低0.47元/天 解锁文章
1954
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
