超级会员免费看
本文介绍了使用Spark DataFrame对MovieLens数据进行处理，包括按用户和时间戳排序，使用留一法切分数据集，以及获取每个用户最后的点击行为。在Java中实现多列排序和取数据尾部时遇到问题，通过创建临时表并重新分区解决了问题。
按照我之前的推荐业务数据处理方法，首先有rating数据进行排序后（按照点击时间先后排序）划分训练集和测试集，一般我采用留一法进行测试（即将最后一个item作为测试），这是最标椎的测试方法，比那些8 2划分要好很多，只要数据是已定的，那么训练集和测试集就是固定的，而随机划分的方法则不是，一个数据集随机划分有N种可能，每一种划分指标结果可能都有差异，你可以反驳说差异很小，但排序中差异3个点就能发paper了，我觉得有可能达到3个点的差异。所有我用留一法。马化腾南极🐧群 277356808
1，spark-df对点击行为按照user，timestamp排序，经典问题：多列排序问题
py中很好解决，sor
订阅专栏 解锁全文
6213
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
