top-N推荐中以recall为指标的实验设计

最新推荐文章于 2024-07-06 17:08:03 发布

chemical_romance

最新推荐文章于 2024-07-06 17:08:03 发布

阅读量4.4k

点赞数 1

分类专栏：推荐系统文章标签： top-N recall

本文链接：https://blog.csdn.net/u013166160/article/details/18004187

版权

本文探讨了在top-N推荐系统中，以recall为评估指标的实验设计。通过对[27]和[28]的研究，指出在创建训练集和测试集时需要注意两集的不相交性，并强调了1-recall@5的重要性。实验方法包括从用户反馈中抽取数据，用于训练和测试，以优化推荐列表的性能。

摘要由CSDN通过智能技术生成

衡量top-N推荐的性能一般使用recall。不过，实验的设计并非那么直观。下面，先看几个paper里不同的实验方法，然后做个总结。

[27]的实验方法：

记处理后的（隐式）评分矩阵为S，其中用户u有过隐式反馈的物品集为u+，没有的集合为u-。对于每个用户u，作者从u+中随机抽取10个相关的物品，作为测试集u_test。作者从u-中随机抽取K|u+|个物品，记为u* ——由于增加K，算法的性能不会上升，因此文中K取2。为了评测，算法在不同数据系数程度下的性能，作者又从u+中，随机抽取最多m（5,10,20,30,50,ALL）个隐式评分，记为u#，最终得到训练集u_train= u#∪u*, given m。为了实验结果不受个别数据影响，对于每个given m，作者重复5次随机抽样的过程，以产生不同的u_test和u_train。最终，将5次结果的平均值作为given m的最终结果。

实验结果用recall@N来衡量。首先对于每个用户u,用上述训练出来的模型对u*和u_test进行评分。接着，对于每个u_test中的物品i，从u*中随机选取100个，然后将这101个物品排序。如果i的位置pos <= N那么就算是一个hit。整个测试集的recall@N = #hit/|test|。