【机器学习】机器学习实验方法与原则（评价指标全面解析）

评价指标

在 不同任务 下衡量模型的性能，有 不同的评价指标 ，例如：

• 回归任务

• 平均绝对误差（ MAE ）、均方误差（ MSE ）、均方根误差（ RMSE ）等

• 分类任务

• 准确率（ Accuracy ）、精度（ Precision ）、召回率（ Recall ）等

• 特定任务

• 个性化推荐：前 K 项精度（ Precision@K ）、前 K 项召回率（ Recall@K ）、前 K 项

命中率（ Hit@K ）等

• 对话系统： BLEU 、 ROUGE 、 METEOR 等

1.回归任务(MAE, MSE,RMSE)

预测值 p i 常为连续值，需要衡量与真实值 y i 之间的误差

• 平均绝对误差（ MAE ）

• 均方误差（ MSE ） ：预测误差较大的样本影响更大

• 均方根误差（ RMSE ） ：与预测值、标签单位相同

2.分类任务 (Accuracy, ER,P,R,F,AUC)

预测值一般为离散的类别，需要判断是否等于真实类别

• 准确率（ Accuracy ）

• 错误率（ Error Rate ）

考虑二分类时划分正负的阈值

• ROC 曲线

    • 根据预测值对样本排序

    • 以该样本的预测值为阈值

    • 大于或等于阈值记正例，否则记负例

    • 可得到一组结果及评价指标，共有样本数 n 组结果

    • 假正例率（ False Positive Rate, FPR ）为横轴

    • 真正例率（ True Positive Rate, TPR, 也 即召回率 ）为纵轴

• 随机猜测模型的 ROC 曲线为 (0,0) 到 (1,1) 的对角线

• 理想模型的 ROC 曲线为 (0,0)-(0,1)-(1,1) ，所有正例预测值大于所有负例预测值

• AUC ：（ Area Under ROC Curve ） ROC 曲线下的面积，越大越好

 

AUC 的简便计算方法：

把测试样例以预测值从大到小排序，其中有 n1个真实正例,其中n0个真实负例

设 r i 为第 i 个 真实负例 的秩（排序位置）， S 0 = ∑ r i

AUC 可以计算为 :

3.特定任务 

一些特定任务有其特有评价指标

• 个性化推荐

        • 前K项精度（Precision@K ）：模型排序给出的前 K 个推荐中，用户喜欢的项目（正例）的比例

        • 前 K 项召回率（ Recall@K ）：模型排序给出的前 K 个推荐中，正例数占候选集中所有正例的比例

        • 前 K 项命中率（ Hit@K ）：模型排序给出的前 K 个推荐中，是否有正例

        • nDCG@K 、点击率、用户留存、利润转化等

• 对话系统

        • BLEU 、 ROUGE 、 METEOR ：基于词、 n-gram 匹配衡量预测句子与目标句子之间的相似度

        • 基于词向量计算预测句子与目标句子之间的相似度

        • 用户与系统对话的时长、次数

        • 人工评价

特定任务（DCG）

• DCG: Discounted Cumulative Gain

• 检测一个文档，用 分级的相关性 来衡量有用性 , 或者 增益 (Gain)

        • rel 1 + rel 2 + rel 3 + …

• 增益从排序列表的开头开始累积，随着 位次增加 ，增益可能会 减弱 (Discounted)

        • rel1 + discounted( rel 2 ) + discounted( rel 3 ) + …

        • 典型的折损函数有 1/ log (rank)

        • 底数为 2 时 , 位次 4 的折损为 1/2, 位次 8 为 1/3

        • rel 1 + rel 2 / log 2 2+ rel 3 / log 2 3 + …

• DCG 是对一个特定位次 p 的 累积增益 (Cumulative) :

• 或 :

特定任务（DCG）举例 

 • 10 个文档的展示列表，相关性分级0-3:

        3, 2, 3, 0, 0, 1, 2, 2, 3, 0

• 折扣增益 : ( 1/log 2 i )

        3, 2/1, 3/1.59, 0, 0, 1/2.59, 2/2.81, 2/3, 3/3.17, 0

        = 3, 2, 1.89, 0, 0, 0.39, 0.71, 0.67, 0.95, 0

• 累积折扣增益 (DCG@ n ):

        3, 5, 6.89, 6.89, 6.89, 7.28, 7.99, 8.66, 9.61, 9.61

特定任务（NDCG） 

l 通过与 理想排序 的对应位置的 DCG 进行对比来 归一化

l 对有不同数量相关文档的搜索结果求均值时更科学简洁

l 在任何位置都有 NDCG ≤ 1

l 考虑了 分级相关性 和 位置 信息

l 搜索引擎等与排序相关的应用中相当常用的评价指标之一

特定任务（BLEU） 

l BLEU: bilingual evaluation understudy 双语替代评价

l 最早多用于机器翻译，后来也被其他任务借鉴（如对话生成等）

l 检测译文中的每个 n-gram 是否在参考译文中出现

l Precision 没有考虑词出现的次数限制 ，结果偏高

l 某个词在译文中的有效频次不应超过参考译文中的频次

 

l 精度 log 可能出现为 0 的情况 ，   置 BLEU=0

l 也可对精度做平滑

l Google 的参考实现（扩展：多个句子的翻译、多个参考译文）

https://github.com/tensorflow/nmt/blob/master/nmt/scripts/bleu.py