模型评估与选择

模型评估与选择

学习方法的泛化能力，就是描述一个模型对未知事物的预测能力，然而如何确定一个模型的泛化能力，这就需要通过相应的评估。不同模型对不同数据的泛化能力不同，选择什么样的模型，意味着选择什么样的学习效果。

一、误差与过拟合

机器学习的目的是使得模型不仅对已知数据且对未知数据都能有很好的预测能力。在实际过程中，预测错误是在所难免的，相应的，把机器学习实际预测与样本输出的真实输出之间的差异称之为误差，模型在训练集上的误差称为训练误差或经验误差，在测试集上叫测试误差。

而基于损失函数的模型的训练误差和测试误差自然就成为学习方法评估的标准。

假设学习到的模型是$Y=\hat{f}\left(X\right)$，训练误差是模型$Y=\hat{f}\left(X\right)$关于训练集的平均损失函数：
$$R_{emp}\hat{f}\left(X\right)=\frac{1}{N}\sum _{i=1}^{N}L\left(y_{i,}\hat{f}\left(x_i\right)\right)$$
其中N是训练样本容量。
测试误差是模型$Y=\hat{f}\left(X\right)$关于测试数据集的平均损失：
KaTeX parse error: Double superscript at position 55: …N'}\sum_{i=1}^N'̲L\left(y_{i,}\h…
其中*N’*是测试样本容量。

如果一味追求提高训练数据的预测能力，所选模型的复杂度则往往会比较高。这种现象称为过拟合。

二、模型的评估方法

1、交叉验证

交叉验证，先将数据集$D$划分为k个大小相似的互斥单元，即$D=D_1\cup D_2\cup ...\cup D_n,D_i\cap D_j=\varnothing (i\ne j)$，每个子集$D_i$都尽可能的保持数据分布的一致性，即从$D$中通过分层采样得到。然后每次用$k-1$个子集的并作为训练集，余下的子集作为测试集（留一法）；这样就可以获得$k$组训练集/测试集，从而可以进行$k$次训练和测试，最终返回的是$k$个测试结果的均值。显然交叉验证评估结果的稳定性和保真性在很大程度上取决于$k$的取值，因此通常把交叉验证称为$k$折交叉验证。

2、Bootstrapping算法

中文翻译为自助法，交叉验证中留一法受训练样本规模变化的影响小，但计算复杂度太高了。自助法正好解决了留一法中计算复杂度高的问题，同时还能减少训练样本规模不同造成的影响。
自助法直接以自主采样作为基础。给定冒汗$m$个样本的数据集$D$，对它进行采样产生的数据集$D^{\prime }$：每次随机从$D$中挑选一个样本，将其拷贝放入$D^{\prime }$，然后再将该样本放回初始数据集$D$中，是的该样本在下次采样是任有可能被采到；这个过程重复执行$m$次之后，我们就得到了包含$m$个样本的数据集$D^{\prime }$，这就是自主采样的结果。样本在$m$次采样中始终不被采到的概率是$(1-\frac{1}{m}{)}^m$，取极限可得$$\underset{m\to \infty }{\lim }(1-\frac{1}{m}{)}^m\to \frac{1}{e}\approx 0.368$$
即通过自主采样，初始数据集$D$中约有$38\%$的样本未出现在采样数据集$D^{\prime }$中，于是我们可以讲$D^{\prime }$用作训练集，$D-D^{\prime }$用作测试集。

三、泛化能力

错误率是分类错误的样本数量占样本总数量的比例，精度则是分类正确的样本占样本总数的比例，对样本$D$，分类错误率定义为：$$E(f;D)=\frac{1}{m}\sum _{i=1}^m(f(x_i)\ne y_i)$$
分类精度定义为：$$acc(f;D)=\frac{1}{m}\sum _{i=1}^m(f(x_i)=y_i)=1-E(f;D)$$
更一般的，对于数据分布$D$和概率密度函数$p(.)$，错误率与精度分别可表示为：
$$E(f;D)=\frac{1}{m}{\int }_{x\sim D}(f(x)\ne y)p(x)dx$$
$$acc(f;D)={\int }_{x\sim D}(f(x)=y)p(x)dx=1-E(f;D)$$

2、查全率与在查准率

对于二分类问题，可将样例根据真实类别与学习器预测类别的组合划分为真正例($TP$)、假正例($FP$)、真反例($TN$)、假反例($FN$)四种情形。显然有$TP+FP+TN+FN=$样例总数。分类结果的混淆矩阵如表所示：

查全率$P$和查准率$R$分别定义为：
$$P=\frac{TP}{TP+FP}$$
$$R=\frac{TP}{TP+FN}$$

查全率与查准率是一对矛盾量，如图所示：

图片来自《机器学习》周志华著

由图可知，依据平衡点（BEP）度量，学习器A优于学习器B。然而用平衡点还是过于简化，更常用的是$F1$度量：
$$F1=\frac{2\times P\times R}{P+R}=\frac{2\times TP}{all+TP-TN}$$
$all$是样例总量

更有$F1$的一般形式：
$$F_{\beta }=\frac{(1+{\beta }^2)\times P\times R}{({\beta }^2\times P)+R}$$
其中$\beta >0$度量了查全率对查准率的相对重要性，$\beta =1$时退化为标准$F1$，$\beta >1$时查全率有更大影响，$\beta <1$时查准率有更大影响。

如何在二分类混淆矩阵上综合考察查准率和查全率，一种直接的方法是分别计算查全率和查准率记为$(P_1,R_1),(P_2,R_2),...,(P_n,R_n)$，再计算平均值，这样就得到$macro-P、macro-R，$以及$macro-F1$：
$$macro-P=\frac{1}{n}\sum _{i=1}^n{P}_i$$
$$macro-R=\frac{1}{n}\sum _{i=1}^n{R}_i$$
$$macro-F1=\frac{2\times macro-P\times macro-R}{macro-P+macro-R}$$

还可先将个混淆矩阵的对应元素进行平均，得到$\overline{TP}、\overline{FP}、\overline{TP}、\overline{FN}$，再基于平均值算出$micro-P,micro-R$和$micro-F1$：
$$micro-P=\frac{\overline{TP}}{\overline{TP}+\overline{FP}}$$
$$micro-R=\frac{\overline{TP}}{\overline{TP}+\overline{FN}}$$
$$micro-F1=\frac{2\times micro-P\times micro-R}{micro-P+microR}$$

###3、ROC与AUC
ROC全称是“受试者工作特征”（Receriver Operating Characteristic）曲线，目前是用来描述机器学习期望泛化能力。横轴是“假正率”（$FPR$），纵轴是“真正率”（$TPR$）,两者分别定义为：
$$FPR=\frac{FP}{TN+FP}$$
$$TPR=\frac{TP}{TP+FN}$$

若一个学习器ROC曲线被另一个学习器的曲线完全包住，则可断定，后者性能优于前者。较为合理的判据是比较ROC曲线下的面积，即AUC（“Area Under ROC Curve”）

图片来自《机器学习》周志华著

假定ROC曲线是由坐标为$(x_1,y_1),(x_2,y_2),...,(x_m,y_m)$的点按序连接而形成$(x_1=0,x_m=1)$，则AUC可估计为：
$$AUC=\frac{1}{2}\sum _{i=1}^{m-1}(x_{i+1}-x_i)\cdot (y_i+y_{i+1})$$

形式化地看，AUC考虑的是样本预测的排序质量，因此它与排序质量有关系。给定$m^{+}$个正例和$m^{-}$个反例，令$D^{+}$和$D^{-}$分别表示正、反例的集合。则排序损失定义为：
$$l_{rank}=\frac{1}{m^{+}+m^{-}}\sum _{x^{+}\in D^{+}}\sum _{x^{-}\in D^{-}}((f(x^{+})<f(x^{-}))+\frac{1}{2}(f(x^{+})=f(x^{-})))$$

即考虑每一个正、反例，若正例的预测值小于反例，则记一个“罚分”，若相等，记0.5个“罚分”。容易看出$l_{rank}$对应的是ROC曲线之上的面积，则：
$$AUC=1-l_{rank}$$

4、偏差与方差

偏差-方差分解是用来描述为什么具有泛化能力的一种工具。偏差-方差分解试图对学习算法的期望反话错误率进行拆解。对测试样本$x$，令$y_D$为$x$在数据集中的标记，$y$为$x$的真实标记，$f(x；D)$为训练集$D$上学得模型$f$在$x$上的预测输出，以回归任务为例，学习算法的期望预测为：
$$\overline{f}(x)={\mathbb{E}}_D[f(x;D)]$$
使用样本相同的不同训练集产生的方差为：
$$var(x)={\mathbb{E}}_D[(f(x;D)-\overline{f}(x){)}^2]$$
噪声为：
$${\epsilon }^2={\mathbb{E}}_D[(y_D-y{)}^2]$$
期望输出与真实标记的差别称为偏差（bias）,即
$$bia{s}^2(x)=(\overline{f}(x)-y{)}^2$$
则，对算法的期望泛化误差进行分解可得：
$$E(f;D)={\mathbb{E}}_D[(f(x;D)-\overline{f}(x){)}^2]+(\overline{f}(x)-y{)}^2+{\mathbb{E}}_D[(y_D-y{)}^2]$$
于是：
$$E(f;D)=bia{s}^2(x)+var(x)+{\epsilon }^2$$

也就是说，泛化误差可以分解为偏差、方差与噪声之和。

偏差：刻画了算法本身的拟合能力。
方差：刻画了数据扰动造成的影响。
噪声：刻画了学习问题本身的难度。

一般来说，偏差与方差是有冲突的，如图：

图片来自《机器学习》周志华著

四、模型的选择

1、假设检验

假设检验是中的“假设”是对学习器泛化错误率分布的某种判断或猜想。学习器实际错误率和测试错误率之间有差异，但是我们可以从测试错误率推出实际错误率。

泛化错误率为$\epsilon$的学习器在一个样本上犯错误的概率是$\epsilon$测试错误率$\hat{\epsilon }$意味着在$m$个样本中有$\hat{\epsilon }\times m$个被分错。假设测试样本是从总体样本分布中独立而来，那么泛化错误率为$\epsilon$的学习器将其中$m^{\prime }$个样本误分类，其中被分类正确的概率为${\epsilon }^{m^{\prime }}(1-\epsilon {)}^{m-m^{\prime }}$，由此可估算出将$\hat{\epsilon }\times m$个样本分类错误的概率为（泛化错误率为$\epsilon$的学习器被测试得测试错误率为$\hat{\epsilon }$的概率）：
$$P(\hat{\epsilon };\epsilon )=\left(\genfrac{}{}{0ex}{}{m}{\hat{\epsilon }\times m}\right){\epsilon }^{\hat{\epsilon }\times m}(1-\epsilon {)}^{m-\hat{\epsilon }\times m}$$

给定测试错误率 则解$\frac{\partial P(\hat{\epsilon };\epsilon )}{\partial \epsilon }=0$可知，$P(\hat{\epsilon };\epsilon )$在$\hat{\epsilon }=\epsilon$时最大，$|\epsilon -\hat{\epsilon }|$增大时$P(\hat{\epsilon };\epsilon )$减小。这符合二项分布。若$\epsilon =0.3$则10个样本分类错误为3个的概率最大：

图片来自《机器学习》周志华著

这里的$1-\alpha$反映了结论的置信度。而，在$1-\alpha$的概率内所能观察到的最大错误概率如下公式：
$$\overline{\epsilon }=max\epsilon$$
$$s.t.$$
$$\sum _{i={\epsilon }_0\times m+1}^m\left(\genfrac{}{}{0ex}{}{m}{i}\right){\epsilon }^i(1-\epsilon {)}^{m-i}<\alpha$$

2、T检验

在很多时候并非做一次留出估计发，而是重复留出法或者交叉检验法进行多次训练/测试，这样会得到多个测试错误率，此时可以用t检验。假定我们得到了$k$个测试错误率，${\hat{\epsilon }}_1,{\hat{\epsilon }}_2,...,{\hat{\epsilon }}_k$，则平均测试错误率$\mu$和方差${\sigma }^2$为：
$$\mu =\frac{1}{k}\sum _{i=1}^k{\hat{\epsilon }}_i$$
$${\sigma }^2=\frac{1}{k-1}\sum _{i=1}k({\hat{\epsilon }}_i-\mu {)}^2$$
考虑这$k$个测试错误率可看作泛化错误率${\epsilon }_0$的独立采样，则变量
$${\tau }_t=\frac{\sqrt{k}(\mu -{\epsilon }_0)}{\sigma }$$

对于多个学习器之间的性能比较可用交叉T检验、McNemar检验、Friedman检验与Nemenyi后续检验。