推荐中常用的模型评价指标有准确率,召回率,F1-score和AUC。
1. 什么是AUC
AUC指标是一个[0,1]之间的实数,代表如果随机挑选一个正样本和一个负样本,分类算法将这个正样本排在负样本前面的概率。值越大,表示分类算法更有可能将正样本排在前面,也即算法准确性越好。
2. AUC的计算方法
- 绘制ROC曲线,ROC曲线下面的面积就是AUC的值
- 假设总共有(m+n)个样本,其中正样本有m个,负样本有n个,则共有m*n个样本对。如果正样本预测为正样本的概率值大于负样本预测为正样本的概率值记为1,反之为0,求和后除以(m*n)就是AUC的值
- 对所有样本进行打分,按分数排序,第一名的rank为m+n,第二名的rank为m+n-1,往后依次递减,则 A U C = ∑ i ∈ 正 样 本 r a n k i − m ( 1 + m ) 2 m × n {AUC = \frac{\sum_{i \in 正样本} rank_i - \frac{m(1+m)}{2}}{m \times n}} AUC=m×n∑i