推荐系统算法评价指标

推荐系统算法评价指标

1.推荐准确度评测

1.1 评分预测

很多网站都有让用户给物品打分的功能，如果知道用户对物品的历史评分，就可以从中学习一个兴趣模型，从而预测用户对新物品的评分

评分预测的准确度一般用均方根误差（RMSE）或平均绝对误差（MAE）计算

1.2 Top-N推荐

• 网站提供推荐服务时，一般是给用户一个个性化的推荐列表，这种推荐叫做 Top-N推荐
• Top-N推荐的预测准确率一般用精确率（precision）和召回率（recall）来度量

2. 准确率、精确率和召回率

• 假如某个班级有男生80人,女生20人,共计100人，目标是找出所有女生。现在某人挑选出50个人，其中20人是女生，另外还错误的把30个男生也当作女生挑选出来了。那么怎样评估他的工作？
• 将挑选结果用矩阵示意表来表示 ： 定义 TP，FN，FP，TN 四种分类情况

准确率(accuracy)

• 正确分类的 item 数与总数之比
  A = (20+50) / 100 = 70%

精确率(precision)

• 所有被检索到的 item 中，"应该被检索到"的 item 占的比例
  P = 20 / (20+30) = 40%

召回率(recall)

• 所有检索到的 item 占所有"应该检索到的item"的比例
  R = 20 / (20 + 0) = 100%