时间:2019.08
作者:Maurizio Ferrari Dacrema, Paolo Cremonesi, Dietmar Jannach
Abstract:
文中提出两个推荐系统论文的问题:
- 论文结果的reproducibility
- baseline model的选择
作者挑选了18篇2018年发表的深度学习方向的论文(top-n recommendation方向),其中7篇可以被重现,6篇的模型效果不如简单模型。
作者认为出现这些问题的原因有:
- baseline没有被fine-tune
- 深度学习模型只跟深度学习模型对比,baseline选错了
- 数据集、评价指标、数据预处理不统一
Evaluation Methodology
使用原始paper里相同的数据集、算法应用、评估方法
Baseline
- TopPopular:按照评分数量作热门推荐
- ItemKNN:计算物品间的cosine similarity
- UserKNN:计算用户间的cosine similarity
- ItemKNN-CBF:计算相似度使用物品的特征向量
- ItemKNN-CFCBF:计算相似度时,concat item i的评分向量和特征向量