推荐系统算法评价指标
1.推荐准确度评测
1.1 评分预测
很多网站都有让用户给物品打分的功能,如果知道用户对物品的历史评分,就可以从中学习一个兴趣模型,从而预测用户对新物品的评分
评分预测的准确度一般用均方根误差(RMSE)或平均绝对误差(MAE)计算
1.2 Top-N推荐
- 网站提供推荐服务时,一般是给用户一个个性化的推荐列表,这种推荐叫做 Top-N推荐
- Top-N推荐的预测准确率一般用精确率(precision)和召回率(recall)来度量
2. 准确率、精确率和召回率
- 假如某个班级有男生80人,女生20人,共计100人,目标是找出所有女生。现在某人挑选出50个人,其中20人是女生,另外还错误的把30个男生也当作女生挑选出来了。那么怎样评估他的工作?
- 将挑选结果用矩阵示意表来表示 : 定义 TP,FN,FP,TN 四种分类情况
准确率(accuracy)
- 正确分类的 item 数与总数之比
A = (20+50) / 100 = 70%
精确率(precision)
- 所有被检索到的 item 中,"应该被检索到"的 item 占的比例
P = 20 / (20+30) = 40%
召回率(recall)
- 所有检索到的 item 占所有"应该检索到的item"的比例
R = 20 / (20 + 0) = 100%