机器学习（03）—性能度量

对机器学习的泛化性能进行评估，不仅需要有效可行的实验估计方法，还需要有衡量模型泛化能力的评价标准，即性能度量（performance measure）

性能度量反映了任务需求，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果；这意味着模型的“好坏”是相对的，什么样的模型是好的，不仅取决于算法和数据，还决定于任务需求。

1. 回归模型的性能度量

给定样例集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) . . . ( x m , y m ) , } D=\{(x_1,y_1),(x_2,y_2)...(x_m,y_m),\} D={ (x1​,y1​),(x2​,y2​)...(xm​,ym​),}，其中$y_i$是示例$x_i$的真实输出。要评估学习器$f$的性能，就要把学习器预测结果$f(x)$与真实输出$y_i$进行比较。

回归任务最常用的性能度量是“均方误差”(mean squared error)
$$E(f;D)=\frac{1}{m}\sum _{i=1}^m(f(x_i)-y_i{)}^2\text{\hspace{1em}(1)}$$
更一般的，对于数据分布$D$和概率密度函数$p(\cdot )$，均方误差可描述为
$$E(f;D)={\int }_{x\sim D}(f(x)-y{)}^{2}p(x)dx\text{\hspace{1em}(2)}$$

2. 分类模型的性能度量

2.2 错误率与精度

错误率和精度是分类任务中最常用的两种性能度量，既适用于二分类任务，也适用于多分类任务。错误率是分类错误的样本数占样本总数的比例，精度则是分类正确的样本数占样本总数的比例。对样例集$D$分类错误率定义为
$$E(f;D)=\frac{1}{m}\sum _{i=1}^m(f(x_i)\ne y_i)\text{\hspace{1em}(3)}$$
精度则定义为
$$\begin{gathered} acc(f;D)=\frac{1}{m}\sum _{i=1}^m(f(x_i)=y_i) \\ =1-E(f;D)\text{\hspace{1em}(4)} \end{gathered}$$
更一般的，对于数据分布$D$和概率密度函数$p(\cdot )$，错误率与精度可分别描述为
$$E(f;D)={\int }_{x\sim D}(f(x)\ne y{)}^{2}p(x)dx\text{\hspace{1em}(5)}$$
$$\begin{gathered} acc(f;D)={\int }_{x\sim D}(f(x)=y{)}^{2}p(x)dx \\ =1-E(f;D)\text{\hspace{1em}(6)} \end{gathered}$$

2.3 查准率、查全率与F1

错误率和精度虽常用，但并不能满足所有任务需求。例如在信息检索中，我们经常会关心“检索出的信息中有多少比例是用户感兴趣的”，“用户感兴趣的信息中有多少被检索出来了”。“查准率”(precision)与“查全
率”（recall)是更为适用于此类需求的性能度量。

对于二分类问題，可将样例根据其真实类别与学习器预测类别的组合划分为真正例（true positive)、假正例（false positive)、真反例(true negative)、假反例（false negative)四种情形，令$TP、FP、TN、FN$分别表示其对应的样例数，显然有$TP+FP+TN+FN=m$（m为样例总数）、分类结果的“混淆矩阵”（confusion matrix)如表所示：

真实情况	预测正例	预测反例
正例	TP（真正例）	FN（假反例）
反例	FP（假正例）	TN（真反例）

查准率$P$与查全率$R$分别定义为：
$$P=\frac{TP}{TP+FP}\text{\hspace{1em}(7)}$$
$$R=\frac{TP}{TP+FN}\text{\hspace{1em}(8)}$$

查准率与查全率是一对矛盾的度量。一般来说，查准率高时，查全率往往偏低；而查全率高时，查准率往往偏低。
P-R曲线与平衡点示意图：

P-R图直观地显示出学习器在样本总体上的杳全率、查准率，在进行比较时：

1. 若一个学习器的P-R曲线被另一个学习器的曲线完全“包住”，则可断言后者的性能优于前者，例如图中学习器A的性能优于学习器C；
2. 如果两个学习器的P-R曲线发生了交又，例如图中的A与B，则难以一般性地断言两者孰优孰劣，只能在具体的查准率或查全率条件下进行比较。

然而，在很多情形下，人们往往仍希望即使学习器A与BPR曲线发生也能比出个高低．这时一个比较合理的判据是比较P-R曲线下面积的大小，它在一定程度上表征了学习器在查准率和查全率上取得相对“双高“的比例，但这个值不太容易估算，因此，人们设计了一些综合考虑杳准率、杳全率的性能度量——”平衡点“（Break-EventPoint,筒称BEP）。它是“查准率=查全率”时的取值，例如图中学习器C的BEP是0.64，而基于BEP的比较，可认为学习器A优于B。

但BEP还是过于简化了些，更常用的是F1度量：
$$F1=P+$$