推荐系统--常见评估指标--学习笔记

 

目录

1 推荐系统简介

2 推荐系统常见评估指标

2.1 用户满意度

2.2 准确率相关

2.3 覆盖率

2.4 多样性

2.5 新颖性

2.6 ROC/AUC

 

---

1 推荐系统简介

1. What
    用户：推荐系统是一种帮助用户快速发现有用信息的工具
    公司：推荐系统是一种增加公司产品与用户接触,购买等行为概率的工具
2. Why
    用户：在用户需求并不十分明确的情况下进行信息的过滤,与搜索系统相比,推荐系统更多的利用用户的各类 
          历史信息猜测其可能喜欢的内容
    公司：解决产品能够最大限度地吸引用户,留存用户,增长用户黏性,提高用户转化率,从而达到公司商目标连 
          续增长的目的. 本质上是一种实现将用户-商品-公司之间利益最大化的手段. 
3. Who
    从上面的1和2可以看出用户与公司是需要推荐系统的主要对象，那么可以在1和2的基础上展开想想什么样子 
    的人需要推荐系统，以及什么样的公司需要推荐系统。

2 推荐系统常见评估指标

2.1 用户满意度

        用户是推荐系统中非常重要的参与者,他们的满意度也直接决定了推荐系统的好坏.但是用户满意度这个指标无法离线计算,只能通过用户调查或者在线实验获得.这里在线实验一般是通过用户的线上行为统计得到的,比如电商场景中,用户如果购买了推荐的商品说明一定程度上他们是满意的,因此可以通过购买率度量用户的满意度,与购买率类似的点击率,用户停留时间和转化率等指标都可以用来度量用户的满意度.

2.2 准确率相关

（1）评分预测  （其中T是用户和物品的并集，r是真实用户u对物品i的评分，r^是推荐模型预测出来的评分）

         均方根误差：  

        平均绝对误差：

（2）topN推荐（用到了机器学习评估中的精准率和召回率）

         推荐系统中的“精准率”：

         推荐系统中的“召回率”：

         注：上公式总，R(u)表示推荐给u的物品列表，T(u)表示真实的用户u的物品列表，U表示所有用户合集。

2.3 覆盖率

    覆盖率是用来描述一个推荐系统对物品长尾的发掘能力,一个简单的定义可以是:推荐系统所有推荐出来的商
品集合数占总物品集合数的比例.但是对于相同的覆盖率,不同物品的数量分布,或者说是物品的流行度分布是可以
不一样的.为了更好的描述推荐系统挖掘长尾的能力,需要统计不同物品出现次数的分布.如果所有的物品都出现在
推荐列表中,并且出现的次数都差不多,那么推荐系统发掘长尾的能力就很好.所以可以通过研究物品在推荐列表中
出现的次数分布来描述推荐系统挖掘长尾的能力,如果这个分布比较平缓说明推荐系统的覆盖率比较高,而如果分布
比较陡说明推荐系统的覆盖率比较低.
    下面分别使用信息熵和基尼系数来定义覆盖率.

        信息熵： 

        基尼系数：

        其中，第一个公式：p(i)是  物品i的流行度除以所有物品流行度之和（流行度：指有多少用户为物品评分）

        其中，第二个公式：公式中p是i物品从小到大排列的流行度的第j个物品。

2.4 多样性

        多样性公式可定义为： 

      

        其中R(u)表示系统为用户u推荐的物品列表，分母可以理解为推荐的物品中两两比较最终的一个相似度可能性总和。而分子的s(i,j)可以理解为物品i和物品j的相似度。总之，该公式可以理解为，推荐的物品中长得越不一样，多样性便越大！

2.5 新颖性

新颖性简介：
满足推荐的新颖性最简单的方法就是给用户推荐他们之前没有看过的物品,
但是每个用户没见过的物品数量是非常庞大的,所以一般会计算推荐物品的平均流行度,
流行度越低的物品越有可能让用户觉得新颖。
因此,如果推荐结果中的物品平均热门程度比较低说明推荐的结果就可能比较新颖.

2.6 ROC/AUC

        （1）混淆矩阵 图 （机器学习常见评估）

                

        （2）常见评估指标

                 准确率：（TP+TN）/ all ， 即正负样本都对了的除以多有测试样本数。
                 精准率（查准率）： ，即正的预测为正，除以 所有预测为正的。
                 召回率（查全率）：    ， 即正的预测为正，除以 所有本来就为正的。
                 F1值： ， 一种综合精准率和召回率的评判标准，对于分类问题使用f1更全面。
 

                “真正例率”(True Positive Rate, 简称TPR)：TP/(TP+FN)，同召回率。

                “假正例率”(False Positive Rate,简称FPR)：FP/(FP+TN)，假的预测为正，除以所有本来就为假的。

                ROC/AUC：综合衡量分类效果的面积值，如下所示，横坐标为FPR，纵坐标为TPR。

                

        （3）指标意义： 可以参考 ： ROC曲线和AUC面积理解，写的很好，这里不再赘述。