【西瓜书】模型评估与选择学习笔记

1. 经验误差与过拟合

1.1 错误率与精度

错误率：分类错误的样本数($a$)占样本总数($m$)的比例
$$E=a/m$$
精度：分类正确的样本数占样本总数的比例
$$精度=1-错误率=1-a/m$$

1.2 误差

误差：学习器的实际预测输出与样本的真实输出之间的差异

• 训练误差（经验误差）：学习器在训练集上的误差
• 泛化误差：学习器在新样本上的误差

显然，我们希望得到泛化误差小的学习器，然而，我们实现并不知道新样本是什么样，我们能做的是努力使经验误差最小化。

1.3 过拟合

欠拟合：对训练样本的一般性质尚未学好。

• 欠拟合比较容易克服，例如在决策树学习中扩展分支、在神经网络学习中增加训练轮数等；

过拟合：当学习器把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降。

• 过拟合则很麻烦，是机器学习面临的关键障碍；然而我们必须认识到，过拟合是无法彻底避免的，我们所做的只是“缓解”，或者是减小其风险。

2. 评估方法

我们使用一个“测试集”（testing set）来测试学习器对新样本的判别能力，然后以测试集上的“测试误差”作为泛化误差的近似。通常我们假设测试样本也是从样本真实分布中独立同分布采样而得。但需要注意的是测试样本尽量不要在训练集中出现。

2.1 留出法

直接将数据集$D$划分为两个互斥的集合，其中一个集合作为训练集$S$，另一个作为测试集$T$。在$S$上训练出模型后，用$T$来评估其测试误差，作为对泛化误差的估计。

需要注意的问题：
① 训练/测试集的划分要尽可能保持数据分布的一致性。可采用“分层采样”的保留类别比例的采样方式
② 即便在给定训练/测试集的样本比例后，仍存在多种划分方式对初始数据集$D$进行分割。选择哪些样本进入训练/测试集？这些不同的划分将导致不同的模型评估结果，因此，单次使用留出法得到的估计结果往往不够稳定可靠，在使用留出法时，一般要采用若干次随机划分、重复进行实验评估后取平均值作为留出法的评估结果。
③ 留出法存在一个无法解决的问题：测试集小时，评估结果的方差大；测试集大时，评估结果的偏差大。

2.2 交叉验证法

单次交叉验证步骤：
① 先将数据集$D$划分为$k$个大小相似的互斥子集，每个子集$D_i$都尽可能保持数据分布的一致性。
② 每次用$k-1$个子集的并集作为训练集，余下的那个子集作为测试集，这样就可以获得$k$组训练/测试集，从而可进行$k$次训练和测试
③ 最终返回这$k$个测试结果的均值。

显然，交叉验证法评估结果的稳定性和保真性在很大程度上取决于$k$的取值。（$k$值小，测试集大，保真性差；$k$值大，测试集小，稳定性差。）

与留出法相似，交叉验证法同样要随机使用不同的划分方式，重复$p$次，最终的评估结果是这$p$次$k$折交叉验证结果的均值。

2.3 自助法

留出法和交叉验证法因为保留了一部分样本用于测试，因此存在因训练样本规模不同（$S$规模小于$D$）而导致的估计偏差。

定义：
① 给点包含$m$个样本的数据集$D$，我们对其采样产生数据集$D^{\prime }$。
② 采样过程：每次随机从$D$中挑选一个样本，将其拷贝放入$D^{\prime }$，然后再将该样本放回初始数据集$D$中，使得该样本在下次采样时仍然可能被采到。
③ 采样过程重复执行$m$次，我们就得到了包含$m$个样本的数据集$D^{\prime }$，数据规模与$D$相同。
④ 显然$D$中有一部分样本会在$D^{\prime }$中重复出现，而另一部分样本不出现。这些样本数量经估计计算大约占比36.8%，将这些未出现的样本（$D\backslash D^{\prime }$）作为测试集。

这样实际评估的模型与期望评估的模型都使用$m$个训练样本，而我们仍有数据总量约$1/3$的、没在训练集中出现的样本用于测试。这样的测试结果，亦称“包外估计”。

自助法产生的数据集改变了初始数据集的分布，这会引入估计误差

2.4 评估方法选择

自助法在数据集较小、难以有效划分训练/测试集时很有用；但在初始数据量足够时，留出法和交叉验证法更常用一些。

2.5 调参

大多数学习算法都有些参数(parameter)需要设定，参数配置不同，学得模型的性能往往有显著差别，还需要对算法参数进行设定，即“调参”。
调参与算法选择的区别：
很多参数在实数范围内选择，且每个模型的参数数量较多，即便按步长进行学习，模型数量也是巨大的，并且还无法找出最优的模型。

2.6 最终模型

事实上我们只使用了一部分数据训练模型。因此，在模型选择完成后，学习算法和参数配置已选定（已完成模型选择和调参），此时应该用整个数据集$D$重新训练模型（重新学习），这才是最终提交给用户的模型。

2.7 注意

训练集：（用来学习的样本集，用于分类器参数的拟合）
验证集：基于验证集上的性能来进行模型选择和调参。（用来调整分类器超参数的样本集）
是将训练数据另外划分为训练集和验证集
测试集：用测试集上的判别效果来估计模型在实际使用时的泛化能力。（仅用于对已经训练好的分类器进行性能评估的样本集）

3. 性能度量

对学习器的泛化能力进行评估，不仅需要有效可行的实验估计方法（评估方法）；还需要有衡量模型泛化能力的评价标准（性能度量）

3.1 回归任务的性能度量

给定样例集$D=\{({\mathbf{x}}_1,y_1),({\mathbf{x}}_2,y_2),...,({\mathbf{x}}_m,y_m)\}$
均方误差 ($\mathrm{mean}\mathrm{squared}\mathrm{error}$)：

• 假设数据分布为均匀分布，即每个样本出现的概率相同
  $$E(f;D)=\frac{1}{m}\sum _{i=1}^m(f({\mathbf{x}}_i)-y_i{)}^2$$
• 更一般地，对于数据分布 $\mathcal{D}$ 和概率密度函数 $p(\cdot )$
  $$E(f;\mathcal{D})={\int }_{\mathbf{x}\sim \mathcal{D}}(f(\mathbf{x})-y{)}^{2}p(\mathbf{x})d\mathbf{x}$$

3.2 分类任务的性能度量

3.2.1 错误率与精度

给定样例集$D=\{({\mathbf{x}}_1,y_1),({\mathbf{x}}_2,y_2),...,({\mathbf{x}}_m,y_m)\}$
错误率 ($\mathrm{error}\mathrm{rate}$)：

• 假设数据分布为均匀分布，即每个样本出现的概率相同
  $$E(f;D)=\frac{1}{m}\sum _{i=1}^m\mathbb{I}(f({\mathbf{x}}_i)\ne y_i)$$
• 更一般地，对于数据分布 $\mathcal{D}$ 和概率密度函数 $p(\cdot )$
  $$E(f;\mathcal{D})={\int }_{\mathbf{x}\sim \mathcal{D}}\mathbb{I}(f({\mathbf{x}}_i)\ne y_i)p(\mathbf{x})d\mathbf{x}$$

精度 ($\mathrm{accuracy}$)：

• 假设数据分布为均匀分布，即每个样本出现的概率相同
  $$\begin{array}{rl}& acc(f;D)=\frac{1}{m}\sum _{i=1}^m\mathbb{I}(f({\mathbf{x}}_i)=y_i)\\ & =1-E(f;D)\end{array}$$
• 更一般地，对于数据分布 $\mathcal{D}$ 和概率密度函数 $p(\cdot )$
  $$\begin{array}{rl}& acc(f;\mathcal{D})={\int }_{\mathbf{x}\sim \mathcal{D}}\mathbb{I}(f({\mathbf{x}}_i)=y_i)p(\mathbf{x})d\mathbf{x}\\ & =1-E(f;\mathcal{D})m355\end{array}$$

3.2.2 查准率、查全率与F1

对于二分类问题，可将样例根据其真实类别与学习器预测类别的组合划分为真正例(true postive)、假正例(false postive)、真反例(true negative)、假反例(false negative) 四种情形。如下表所示。

分类结果混淆矩阵
真实情况	预测结果
	正例	反例
正例	TP(真正例)	FN(假反例)
反例	FP(假正例)	TN(真反例)

显然有
$TP+FP+TN+FN=样例数$
易错点：
$TP+FN=真实正例数$（预测正例中对的部分+预测反例中错的部分）
$FP+TN=真实反例数$（预测正例中错的部分+预测反例中对的部分）
$T$ 和 $F$ 代表预测的对错情况，$P$ 和 $N$代表预测情况！

3.2.2.1 查准率(precision)

$$P=\frac{TP}{TP+FP}$$

3.2.2.2 查全率/召回率(recall)

$$R=\frac{TP}{TP+FN}$$

3.2.2.3 $P$ 与 $R$ 的矛盾关系

$P$与$R$是一对矛盾的度量。例如，若希望好瓜尽可能多地被选出来，则可以通过增加选瓜的数量来实现，如果将所有西瓜都选上，那么所有的好瓜也必然被选上了，但这样查准率就会比较低。

3.2.2.4 $P-R$ 图

学习器对样例进行分类时，预测结果一般都是置信度，即表示该样例是正例的概率，
比如：99%的概率认为样例A是正例，1%的概率认为样例B是正例。通过选择合适的分类阈值，比如50%，对样本进行划分，概率大于50%的就认为是正例，小于50%的就是负例。
我们根据学习器的预测结果对样例进行排序，按此顺序逐个把样例作为正例进行预测（也即将每个样例的置信度逐个作为分类阈值），在该样例之前的都属于正例，该样例之后的都属于反例。每一个样例作为分类阈值时，都可以计算对应的 $\mathrm{precision}$ 和 $\mathrm{recall}$ ，以查准率为纵轴、查全率为横轴作图，可得到 $P-R$ 图。

根据将逐个样例的置信度作为分类阈值的方法，可以推出，

3.2.2.4.1 起点和终点

假设有10个样例，其中5个为正例，5个为反例。

1. 全被预测为反例

混淆矩阵
真实情况	预测结果
	正例	反例
正例	TP=0	FN=5
反例	FP=0	TN=5

此时 $\mathrm{P}=\frac{TP}{TP+FP}=\frac{0}{0+0}$ 不存在；$\mathrm{R}=\frac{TP}{TP+FN}=\frac{0}{0+5}=0$

2. 第一个预测正例为真实正例

混淆矩阵
真实情况	预测结果
	正例	反例
正例	TP=1	FN=4
反例	FP=0	TN=5

此时 $\mathrm{P}=\frac{TP}{TP+FP}=\frac{1}{1+0}=1$；$\mathrm{R}=\frac{TP}{TP+FN}=\frac{1}{1+4}=0.2$

3. 第一个预测正例为真实反例

混淆矩阵
真实情况	预测结果
	正例	反例
正例	TP=0	FN=5
反例	FP=1	TN=4

此时 $\mathrm{P}=\frac{TP}{TP+FP}=\frac{0}{0+1}=0$；$\mathrm{R}=\frac{TP}{TP+FN}=\frac{0}{0+5}=0$

4. 全被预测为正例

混淆矩阵
真实情况	预测结果
	正例	反例
正例	TP=5	FN=0
反例	FP=5	TN=0

此时 $\mathrm{P}=\frac{TP}{TP+FP}=\frac{5}{5+5}=0.5=真实正例比例$ ；$\mathrm{R}=\frac{TP}{TP+FN}=\frac{5}{5+0}=1$

3.2.2.4.2 变化趋势

随着分类阈值（截断点）左移

$\mathrm{Recall}$ 值是递增的（但并非严格递增）。真实正例被预测为正例的越来越多，不会减少。

• 即截断点的每一次左移（多一个样例被预测为正例），分母真实正例数量$(\mathrm{TP}+\mathrm{FN})$ 总体保持不变，
  ① 该样例为真实正例，分子 $\mathrm{TP}$增加1， $\mathrm{R}$ 值增大；
  ① 该样例为真实反例，分子 $\mathrm{TP}$不变， $\mathrm{R}$ 值不变；

而 $\mathrm{Precision}$ 值并非递减的，而是振荡的，虽然真实正例被预测为正例的变多，但真实反例被预测为正例的也会变多。

• 即截断点的每一次左移（多一个样例被预测为正例）
  ① 该样例为真实正例，分子和分母中的 $\mathrm{TP}$ 同时增加1，根据糖水不等式，这杯糖水更甜了，也即 $\mathrm{P}$ 值增大；
  ② 该样例为真实反例，分母中的 $\mathrm{FP}$ 增加1，也即 $\mathrm{P}$ 值减小。

综上所述，
若新增预测正例为真实正例，则$\mathrm{R}$值和$\mathrm{P}$值均增大，图像表现为递增；
若新增预测正例为真实反例，则$\mathrm{R}$值不变，$\mathrm{P}$值减小，图像表现为竖直下降；

---

另外P-R曲线肯定会经过（0,0）点，比如讲所有的样本全部判为负例（或者是前面几个样本判决错了，将负例判决为了正例），则TP=0，那么P=R=0，因此会经过（0,0）点，但随着阈值点左移，precision初始很接近1，recall很接近0，因此有可能从（0,0）上升的线和坐标重合，不易区分。
曲线最终不会到（1,0）点。很多P-R曲线的终点看着都是（1,0）点，这可能是因为负例远远多于正例。
最后一个点表示所有的样本都被判为正例，因此FN=0，所以recall = TP/(TP + FN) = 1, 而FP = 所有的负例样本数，因此precision = TP/(TP+FP) = 正例的占所有样本的比例，故除非负例数很多，否则precision不会为0.

如何通过 $P-R$ 图判断学习器的性能？
4. 若一个学习器的$P-R$曲线被另一个学习器的曲线完全“包住”，则可断言后者的性能优于前者。例如A>C。
5. 若两个学习器的$P-R$曲线出现交叉，则难以断言，如何进一步比较？

• 面积法：比较 $P-R$ 曲线下面积的大小，它在一定程度上表征了学习器在查准率和查全率上取得相对 “双高” 的比例，但这个值不太容易估算；
• 平衡点法：平衡点(Break-Even Point, 简称$BEP$)，即“查准率=查全率”时的取值。取值越大，性能越优（为什么？存疑），例如A>B，但这个值过于简化。

3.2.2.5 $F1$ 度量及其推广

$F1$ 度量

$F1$ 度量是基于查准率和查全率的调和平均定义的。
$$F1=\frac{1}{\frac{1}{2}\cdot (\frac{1}{P}+\frac{1}{R})}$$
化简整理得：
$$F1=\frac{2\times P\times R}{P+R}=\frac{2\times TP}{样例总数+TP-TN}$$
为什么要使用调和平均数，而不是算数平均数或者几何平均数（存疑）？

• $P$ 和 $R$ 都是一个比例，不是具体的数；
• 与算数平均和几何平均相比，调和平均更重视较小值。

推广1—— $F_{\beta }$

但是在一些应用中，我们对查准率和查全率的重视程度是不同的。因此$F1$度量的一般形式——$F_{\beta }$，能让我们表达出对查准率 / 查全率的不同偏好，它定义为：
$$F_{\beta }=\frac{1}{\frac{1}{1+{\beta }^2}\cdot \frac{1}{P}+\frac{{\beta }^2}{1+{\beta }^2}\cdot \frac{1}{R}}$$
化简整理得：
$$F_{\beta }=\frac{(1+{\beta }^2)\times P\times R}{({\beta }^2\times P)+R},其中\beta >0$$
$\beta >1$时，查全率有更大影响；$\beta <1$时，查准率有更大影响。

推广2—— 宏 $F1$ 和微 $F1$

适用情况：在 $n$ 个二分类混淆矩阵上综合考察查准率和查全率

• 进行多次训练/测试，每次得到一个混淆矩阵；
• 在多个数据集上进行训练/测试，希望估计算法的“全局”性能；
• 执行多分类任务，每两两类别的组合都对应一个矩阵。

宏 $F1$

先在各混淆矩阵上分别计算出查准率和查全率，再计算平均值，得到 宏 $F1$。
$$\begin{gathered} \mathrm{macro}-P=\frac{1}{n}\sum _{i=1}^n{P}_i \\ \mathrm{macro}-R=\frac{1}{n}\sum _{i=1}^n{R}_i \\ \mathrm{macro}-F1=\frac{2\times \mathrm{macro}-P\times \mathrm{macro}-R}{\mathrm{macro}-P+\mathrm{macro}-R} \end{gathered}$$

微 $F1$

先将各混淆矩阵的对应元素进行平均，得到 $TP、FP、TN。FN$ 的平均值，再基于这些平均值计算出 微 $F1$。
$$\begin{gathered} \mathrm{micro}-P=\frac{\overline{TP}}{\overline{TP}+\overline{FP}} \\ \mathrm{micro}-R=\frac{\overline{TP}}{\overline{TP}+\overline{FN}} \\ \mathrm{micro}-F1=\frac{2\times \mathrm{micro}-P\times \mathrm{micro}-R}{\mathrm{micro}-P+\mathrm{micro}-R} \end{gathered}$$

3.2.3 ROC与AUC

3.2.3.1 ROC曲线

$\mathrm{ROC}$ 全称是“受试者工作特征”（$\mathrm{Receiver}\mathrm{Operating}\mathrm{Characteristic}$）曲线。
与$P-R$ 曲线相似，我们根据学习器的预测结果对样例进行排序，按此顺序逐个把样本作为正例进行预测，每次计算出两个重要量的值——真正例率(真实正例样本中被预测为正的比例，True Postive Rate，简称TPR)和假正例率（真实反例样本中被预测为正的比例，False Postive Rate，简称FPR）。
$$\begin{gathered} \mathrm{TPR}=\frac{TP}{TP+FN} \\ \mathrm{FPR}=\frac{FP}{FP+TN} \end{gathered}$$

对于同一任务，因为$TP+FN$代表真实正例数量，$FP+TN$代表真实反例数量，两者均为定值，因此 $TPR$ 和 $FPR$ 的分母保持不变。而随着 分类阈值(threshold,表现为截断点) 的变化（往左变化，变小），预测为正的样本越来越多，$TP$ 和 $FP$ 也随之增加，因此TPR和FPR呈正相关关系。
特别地，当截断点在最前面时，即没有样例都被预测为正，$TP$ 和 $FP$ 均等于0，也即 $TPR$ 和 $FPR$ 均等于0；当截断点在最后面时，即所有样本都被预测为正，不存在被预测为反例的样本，那么 $TN=0,FN=0$，也即 $TPR$ 和 $FPR$ 均等于1。
分别以$TPR$ 和 $FPR$ 为横、纵坐标作图，就得到了“$\mathrm{ROC}$ 曲线”。

现实任务中通常是利用有限个测试样例来绘制 $\mathrm{ROC}$ 图，此时仅能获得有限个坐标对，无法产生(a)图中的光滑 $\mathrm{ROC}$ 曲线，而产生(b)图所示的近似 $\mathrm{ROC}$ 曲线。

3.2.3.2 近似ROC曲线的绘制过程

1. 给定$m^{+}$个正例和$m^{-}$个反例，根据学习器预测结果对样例进行排序，然后把分类阈值设为最大，即没有样例被预测为正，此时真正例率和反正例率均为0，在坐标$(0,0)$ 处标记一个点。
2. 将分类阈值依次设为每个样例的预测值，即依次将每个样例划分为正例。设前一个标记点为$(x,y)$。

• 当前若为真正例，则对应标记点坐标为$(x,y+\frac{1}{m^{+}})$；
• 当前若为假正例，则对应标记点坐标为$(x+\frac{1}{m^{-}},y)$。

3.2.3.3 如何根据ROC曲线比较学习器性能？

当学习器有较好的性能时，假正例率应尽可能的低，真正例率应尽可能的高。

• 若一个学习器的 $\mathrm{ROC}$ 曲线被另一个学习器的曲线完全“包住”，则可断言后者的性能优于前者。（相同假正例率的情况下，后者的真正例率更高）
• 若两个学习器的 $\mathrm{ROC}$ 曲线发生交叉，则难以断言，需要进一步比较，依据是比较 $\mathrm{ROC}$ 曲线下的面积，即 $\mathrm{AUC}$ ( $\mathrm{Area}\mathrm{Under}\mathrm{ROC}\mathrm{Curve}$ )。

3.2.3.4 AUC

假定 $\mathrm{ROC}$ 曲线是由坐标为 $\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\}$的点按序连接而形成$(x_1=0,x_m=1)$，则 $\mathrm{AUC}$ 可估算为：
$$\mathrm{AUC}=\frac{1}{2}\sum _{i=1}^{m-1}(x_{i+1}-x_i)\cdot (y_i+y_{i+1})$$
形式化地看，AUC考虑的是样本预测的排序质量，如何理解？
在 $\mathrm{ROC}$ 曲线图中，取$(0,0)、(0,1)、(1,1)、(1,0)$形成一个面积为1的正方形，将横轴的$[0,1]$划分成$m^{-}$份，将纵轴的$[0,1]$划分成$m^{+}$份。整个正方形被划分成$m^{+}{m}^{-}$个小格子，每个小格子的面积为$\frac{1}{m^{+}{m}^{-}}$，将所有样例根据预测值排序好，从预测值最大的真实正例开始分析，分析其前面有几个真实反例，每有1个真实反例，图上表现为坐标点向右平移$\frac{1}{m^{-}}$个单位；接着分析预测值第二大的真实正例，图上表现为坐标点向上平移$\frac{1}{m^{+}}$个单位。特别地，若存在真实正例和真实反例的预测值相等，则图上表现为坐标点向右上方移动。

给定$m^{+}$个正例和$m^{-}$个反例，令$D^{+}$和$D^{-}$分别表示正、反例集合，则排序“损失”(loss)定义为
$${\ell }_{rank}=\frac{1}{m^{+}{m}^{-}}\sum _{{\mathbf{x}}^{+}\in D^{+}}\sum _{{\mathbf{x}}^{-}\in D^{-}}(\mathbb{I}(f({\mathbf{x}}^{+})<f({\mathbf{x}}^{-}))+\frac{1}{2}\mathbb{I}(f({\mathbf{x}}^{+})=f({\mathbf{x}}^{-})))$$
容易看出 ${\ell }_{rank}$ 对应的是 $\mathrm{ROC}$ 曲线之上的面积。因此有：
$$\mathrm{AUC}=1-{\ell }_{rank}$$

3.2.4 代价敏感错误率与代价曲线

3.2.4.1 代价敏感错误率

对于二分类任务而言，可能存在两种类型的错误：
Ⅰ类错误：错误地将真实正例归为反例；
Ⅱ类错误：错误地将真实反例归为正例。
前文介绍的性能度量中，我们通常认为这两种类型的错误代价是相等的，并没有考虑不同错误会造成不同的后果。例如：

• 错误率是直接计算“错误次数”
• P、R、F1：
  $R$表示所有真实正例中预测正确的比例。$(1-R)$则是所有真实正例中被预测错误的真实正例比例，可以近似认为是Ⅰ类错误；
  $P$表示所有被预测为正例的样例中真实正例的比例。$(1-P)$则是所有所有被预测为正例的样例中真实反例的比例，也即被预测错误的真实反例的比例，可以近似认为是Ⅱ类错误。
  但是因为两者的分母不同，所以只能认为$F_{\beta }$近似地考虑了两种类型错误的不同代价。
  $$F_{\beta }=\frac{1}{\frac{1}{1+{\beta }^2}\cdot \frac{1}{P}+\frac{{\beta }^2}{1+{\beta }^2}\cdot \frac{1}{R}}$$
  Ⅰ类错误数越多，$R$越小。$F_{\beta }$越小。且当$\beta >1$时，Ⅰ类错误的代价更大。
• ROC曲线：

为权衡不同类型错误所造成的不同损失，可为错误赋予“非均等代价”。
以二分类任务为例，我们设置一个“代价矩阵”，其中$cos{t}_{ij}$表示将第$i$类样本预测为第$j$类样本的代价。

二分类代价矩阵
真实类别	预测类别
	第0类	第1类
第0类	0	cost_01
第1类	cost_10	0

若将第0类作为正类、第1类作为反类，令$D^{+}$与$D^{-}$分别代表样例集$D$的正例子集和反例子集，则“代价敏感”错误率为：
$$E(f;D;cost)=\frac{1}{m}(\sum _{{\mathbf{x}}_i\in D^{+}}\mathbb{I}(f({\mathbf{x}}_i)\ne y_i)\times cos{t}_{01}+\sum _{{\mathbf{x}}_i\in D^{-}}\mathbb{I}(f({\mathbf{x}}_i)\ne y_i)\times cos{t}_{10})$$
类似地，可给出其他一些性能度量（如精度） 的代价敏感版本；若令$cos{t}_{ij}$中的$i、j$取值不限于0、1，则可定义出多分类任务的代价敏感性能度量。

3.2.4.1 代价曲线

在非均等代价下，$\mathrm{ROC}$ 曲线不能直接反映出学习器的期望总体代价，而“代价曲线”(cost curve)则可以达到该目的。
代价曲线图的横轴是取值为$[0,1]$ 的正例概率代价，$p$是样例是正例的概率：
$$P(+)cost=\frac{p\times cos{t}_{01}}{p\times cos{t}_{01}+(1-p)\times cos{t}_{10}}$$
如何理解？
设总样例数为$m$，其中真实正例数为$m^{+}$，真实反例数为$m^{-}$
$$\begin{array}{rl}& P(+)cost=\frac{p}{p+(1-p)\times \frac{cos{t}_{10}}{cos{t}_{01}}}\\ & =\frac{\frac{m^{+}}{m}}{\frac{m^{+}}{m}+(1-\frac{m^{+}}{m})\times \frac{cos{t}_{10}}{cos{t}_{01}}}\\ & =\frac{m^{+}}{m^{+}+m^{-}\times \frac{cos{t}_{10}}{cos{t}_{01}}}\end{array}$$
当$cos{t}_{10}:cos{t}_{01}=1$时，即Ⅰ类错误和Ⅱ类错误代价相同，$P(+)cost=p$；
当$cos{t}_{10}:cos{t}_{01}=4$时，即Ⅱ类错误代价比Ⅰ类错误代价更大、更敏感，相当于把真实反例数扩大4倍