在推荐系统中,主要有两种效果的评价方式,一种是Rating prediction,另外一种是Ranking prediction,以下就是两者之间的一些差别:
- Rating Prediction:所用的评价指标主要是MSE(Mean Square Error), RMSE(Root Mean Square Error);
- Ranking Prediction:常用的指标主要是Precision@k, NDCG@k, F1@k, Recall@k
- Rating Prediction更加关注的是observed rating,因此经常用于CF中
- Ranking Prediction更加关注的用户是否rated过某一个item(whether the user has rated those items or not), 因此经常用于OCCF(One Class Collaborative Filtering)中。
但是,在Ranking Prediction问题中,我们往往需要先对于候选集物品进行rating prediction,然后根据rating对于候选集物品进行排序,因此Ranking Prediction中往往会有Rating Prediction的存在。
补充:
如果是借助rating={1,2,3,4,5}的数据来直接进行Ranking Prediction的情况属于:Collborative Ranking(协同排序)问题,如果在进行效果提升比较的时候,所用的Baseline 方法与上述Rating/Ranking Prediction的Baseline不同
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
具体细见论文,或者Google"Rating prediction, ranking prediction".