评测指标
1.用户满意度
满意度是评测推荐系统的最重要指标,但用户满意度没有办法离线计算,只能通过用户调查或者在线实验得到
2、预测准确度
最重要的推荐系统离线评测指标,被研究最多的一个指标。
在计算该指标时需要有一个离线的数据集,该数据集包含用户的历史行为记录。然后,将该数据集通过时间分成训练集和测试集。最后,通过在训练集上建立用户的行为和兴趣模型预测用户在测试集上的行为,并计算预测行为和测试集上实际行为的重合度作为预测准确度。
(1)评分预测问题
均方根误差(RMSE):
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190321181144181.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhb3h1ZWppbmc=,size_16,color_FFFFFF,t_70)
平均绝对误差(MAE):
(2)TopN推荐
召回率:
准确率:
3、覆盖率
内容提供商关心的指标
4、多样性
5、新颖性
6、惊喜度
7、信任度
提高推荐系统的透明度,提供推荐解释;
考虑用户的社交信息,利用好友信息进行推荐,并用好友进行推荐解释
8、实时性
一方面推荐系统需要实时地更新推荐列表来满足用户新的行为变化;另一方面是推荐系统需要能够将新加入系统的物品推荐给用户
9、健壮性
10、商业目标
总结