机器学习入门-西瓜书总结笔记第二章

---

前言

`第一章主要是阅读性为主，通过西瓜案例引入机器学习概念，本章开始介绍机器学习模型评估内容

一、经验误差与拟合

• “错误率”（error rate） 分类错误的样本数占样本总数的比例 m个样本中有a个错误样本，则错误率 $E=\frac{a}{m}$
• “精度”（accuracy) $1-\frac{a}{m}$ “精度=1-错误率”
• “误差”（error） 实际预测输出与真实样本输出直接的差异
• “训练误差”（training error） “经验误差”（empirical error） 学习器在训练集上的误差
• “泛化误差”（generalization error） 在新样本上的误差，实际上就是要得到一个泛化误差尽量小的学习器
• “过拟合”（overfitting） 在训练样本上学得太好了，学到了一些训练样本的规律，而没有学到“一般规律”
• “欠拟合”（underfitting） 训练样本的性质还没有习得
  欠拟合比较容易克服，而过拟合相对麻烦。机器学习通常面对的是NP难甚至更难，若果能在多项式时间内运行完成的是有效机器学习算法。
• 时间复杂度$o(1)<o(n)<o(nlgn)<o(n^2)<o(n^a)<o(e^n)<o(n!)$
• 多项式时间[$o(1)<o(n)<o(nlgn)<o(n^2)<o(n^a)$]内问题
• P类问题（Polynominal)存在多项式时间算法问题
• NP类问题（Nondeterministic Polynominal-hard problem）能在多项式时间内验证得出一个正确的解。个人理解：可以靠猜得到一个解，但不一定在多项式时间内总是可以猜对
• NP难问题（NP-hard）无法得到多项式级的算法

二、评估方法

• 测试集（testing set） 来测试机器学习对于新样本的判别能力，测试集与训练集互斥，避免影响测试结果（过于“乐观”）
• “测试误差（testing error） 作为泛化误差的近似

1.留出法

直接将训练集D划分为互斥的集合，$D=S\cup T,S\cap T=\varnothing$

30%的测试样本+70%训练样本，在测试样本中有30%的样本被错误分类，则精度为1-30%

避免因为数据划分过程引入额外的偏差而对最终结果产生影响，例如在分类任务中至少要保持样本的类别相似
单次使用留出法得到的估计结果往往不太稳定可靠，一般采用多次划分，结果取平均值
常见做法是大约2/3~4/5的样本用于训练，剩余样本用于测试

2.交叉验证法

“交叉验证法”（cross validation） 将数据集D划分为k个大小相似的互斥子集，即$D=D_1\cup D_2\cup ...\cup D_k,D_i\cap D_j=\varnothing (i\ne j)$，每个子集$D_i$都尽可能保持数据分布的一致性，即从D中通过分层采样得到。每次k-1个子集作为训练集，余下的作为测试集，最终返回k次训练的均值。

• “k折交叉验证”（k-fold cross validation），最常用的是10折交叉验证（5，20）
  为减小因样本划分不同而引入的差别，k折交叉验证通常随机使用不同的划分重复p次，最终返回p次k折交叉验证的均值，常用”10次10折交叉验证“
• 留一法（“Leave-One-Out，LOO）有m个样本，k=m，但是当数据集比较大时，不太适用留一法，数据量100万

3.自主法

k折方法，训练集比D小，会引起一些因为训练样本规模不同而导致的估计误差

• “自助法”（bootsrapping）直接采用自助采样（bootstrap sampling）为基础。在数据集D中重复有放回的采样m次，采样得到D’。样本始终不会被采集到的概率是$(1-\frac{1}{m}{)}^m$，
  $$\underset{n\to \infty }{\lim }(1-\frac{1}{m}{)}^m\mapsto \frac{1}{e}\approx 0.368$$
  即采用自助，初始数据集D中约有36.8%的样本未出现在采样数据集D‘中，于是把D’作为训练集，D\D’用作测试集，我们仍有数据总量的1/3的、没在训练集中出现的样本用于测试，这种测试结果也叫 “包外估计”（out-of-bag estimate）
  缺点：自助法产生的数据集改变了初始数据集的分布，这会引起估计偏差，在数据量足够时，留出法和交叉验证法更常用

4.调参与最终模型

• 调参（parameter tuning）对算法的参数进行设定

• 很多参数都是属于实数域的，所以无法尝试所有参数，通常选择范围步长，例$[0,0.2]$范围内以0.05为步长，实际选择要评估的候选参数有5个

• 在模型选择完成后，学习算法和参数配置已选定，此时应该用数据集D重新训练模型，这个模型在训练过程中使用了所有m个样本，这才是我们最终提交给用户的模型

• 训练数据划分为训练集和验证集（validation set） 基于验证集上的性能来进行模型参数选择和调参

三、性能度量

• 性能度量（performance measure） 衡量模型泛化能力的评价标准，模型的“好坏”是相对的，什么样的模型是好的，不仅取决于算法和数据，还决定于任务需求
  回归任务最常用的性能度量是**“均方误差”（mean squared error）**
  $$E(f;D)=\frac{1}{m}\sum _{i=1}^m(f(x_i)-y_i{)}^2$$
  对于数据分布$D$和概率密度函数$p(\cdot )$，均方误差为
  $$E(f;D)={\int }_{x\sim D}(f(x)-y{)}^{2}p(x)dx$$

1.错误率与精度

对样例集D，分类错误率定义为
$$E(f;D)=\frac{1}{m}\sum _{i=1}^m\Pi (f(x_i)\ne y_i)$$
$\Pi (\cdot )$计数符号，精度定义为
$$\begin{array}{rl}acc(f;D)& =\frac{1}{m}\sum _{i=1}^m\Pi (f(x_i)=y_i)\\ & =1-E(f;D)\end{array}$$
对于连续分布$D$和概率密度函数$p(\cdot )$:
$$\begin{gathered} E(f;D)={\int }_{x\sim D}\Pi (f(x)\ne y)p(x)dx \\ \begin{array}{rl}acc(f;D)& ={\int }_{x\sim D}\Pi (f(x)=y)p(x)dx\\ & =1-E(f;D)\end{array} \end{gathered}$$

2.查准率、查全率与$F1$

• 真正率（true positive）
• 假正例（false positive）
• 真反例（true negative）
• 假反例（false negative）
  预测结果与真实情况对比，相同为T（true)，不同为F（false），比对结果+预测结果
  TP + FP +TN +FN = 样例总数
• 查准率P（precision） $P=\frac{TP}{TP+FP}$ 所有预测的正例中，真实的正例有多少比例，所有预测的好瓜有真的好瓜的比例
• 查全率R（recall） $R=\frac{TP}{TP+FN}$ 所有的正例有多少被查出来，好瓜有多少被找出来了。
• “P-R曲线”，查准率和查全率相互矛盾，我们将学习器认为”最有可能“是正例的样本排在前面，”最不可能“的样例排在最后，按照这个顺序逐个把样本作为正例进行预测，计算查全率R作为横轴，查准率P作为纵轴
  若一个学习器的P-R曲线被另一个学习器的曲线完全“包住”，则可断言后者的性能优于前者
• “平衡点”（Break-Event Point 简称BEP） 当俩个学习器P-R曲线交叉时，可以用“查准率=查全率”时的取值BEP进行度量，学习器C的BEP 0.64，学习器A优于学习器B
• $F1$度量
  $$\begin{array}{rl}F1& =\frac{2\times P\times R}{P+R}\\ & =\frac{2\times TP}{样例总数+TP-TN}\end{array}$$
  一般形式
  $$F_{\beta }=\frac{(1+{\beta }^2)\times P\times R}{({\beta }^2\times P)+R}$$
  $\beta >0$度量了查全率对查准率的相对重要性，$\beta =0$退化为标准$F1$；$\beta >1$时查全率影响更大；$\beta <1$时查准率影响更大
  存在多个训练/测试集，n个二分类混淆矩阵上综合考察查准率和查全率
• “宏查准率”（macro-P） “宏查全率”（macro-R） “宏F1”（macro-F1）
  $$\begin{gathered} \text{macro-P}=\frac{1}{n}\sum _{i=1}^n{P}_i \\ \text{macro-R}=\frac{1}{n}\sum _{i=1}^n{R}_i \\ \text{macro-F1}=\frac{2\times \text{macro-P}\times \text{macro-R}}{\text{macro-P}+\text{macro-R}} \end{gathered}$$
• “微查准率”（micro-P） “微查全率”（micro-R） “微$F1$”（micro-F1）
  $$\begin{gathered} \text{micro-P}=\frac{\overline{TP}}{\overline{TP}+\overline{FP}} \\ \text{micro-R}=\frac{\overline{TP}}{\overline{TP}+\overline{FN}} \\ \text{micro-F1}=\frac{2\times \text{micro-P}\times \text{micro-R}}{\text{micro-P}+\text{micro-R}} \end{gathered}$$

3.ROC与AUC

• 很多学习器是为测试样本产生一个实值或概率预测，然后与分类阈值（threshold） 比较，大于阈值则为正类，否则为反类。我们可以将样本排序，分类过程就是以 “截断点”（cut point） 将样本分为两个部门，前一部分为正例，后一部分为反例
• 更重视查准率，选择比较靠前的截断点，比较重视查准率，选择比较靠后的截断点，因此，排序本身的质量好坏，体现了综合考虑学习器在不同任务下的“期望泛化性能”的好坏，ROC曲线是从这个角度来研究学习器泛化性能的有力工具
• “受试者工作特征” ROC（Receiver Operating Characteristic） ROC曲线的纵轴是“真正例率”（True Positive Rate，TPR），横轴是“假正例率”（False Positive Rate， FPR）
  $$\begin{array}{r}TPR=\frac{TP}{TP+FN}\\ FPR=\frac{FP}{TN+FP}\end{array}$$
  从真实情况出发，真正例和假正例所占比例
  将分类阈值依次设为每个样例的预测值，即依次将每个样例划分为正例
  与PR曲线类似，若一个学习器的ROC曲线被另一个ROC曲线完全“包住”，则可断言后者的性能优于前者；若两个曲线交叉，如果一定要比较，则较为合理的判据是比较ROC曲线下的面积，即AUC（Area Under ROC Curve）
  $$AUC=\frac{1}{2}\sum _{i=1}^{m-1}(x_{i+1}-x_i)(y_i+y_{i+1})$$
  用梯形面积公式导出，AUC考虑的是样本预测的排序质量，它与排序误差有紧密联系。
  给定$m^{+}$个正例和$m^{-}$个反例，令$D^{+}$和$D^{-}$分别表示正、反例集合，则排序“损失”（loss）定义为
  $${\ell }_{rank}=\frac{1}{m^{+}{m}^{-}}\sum _{x^{+}\in D^{+}}\sum _{x^{-}\in D^{-}}(\Pi (f(x^{+})<f(x^{-}))+\frac{1}{2}\Pi (f(x^{+})=f(x^{-})))$$
  即考虑每一对正、反例，若正例的预测值小于反例，则记一个“罚分”，若相等，则记0.5个“罚分”
  ${\ell }_{rank}$对应的是ROC曲线上的面积，$AUC=1-{\ell }_{rank}$

4.代价敏感错误率与代价曲线

1. “非均等代价”（unequal cost） 医生将正常人判定为患者的代价（多几项检查）要远小于将患者判定为正常的代价（耽误治疗）。
   $cos{t}_{01}$第0类被错误的判定为第一类
2. “总体代价”（total cost） 第0类作为正类，第1类作为反类，令$D^{+}$和$D^{-}$分别代表样例集$D$的正例子集和反例子集，则 “敏感代价”（cost-sensitive） 错误率为
   $$E(f;D;cost)=\frac{1}{m}(\sum _{x_i\in D^{+}}\Pi (f(x_i\ne y_i)\times cos{t}_{01}+\sum _{x_i\in D^{-}}\Pi (f(x_i\ne y_i)\times cos{t}_{10})$$
   在非均等代价下，ROC曲线不能直接反映出学习器的期望总体代价，而 “代价曲线”（cost curve） 则可达到这个目的。代价曲线图的横轴是取值为[0,1]的正例概率代价
   $$P(+{)}_{cost}=\frac{p\times cos{t}_{01}}{p\times cos{t}_{01}+(1-p)\times cost10}$$
   若p是样例为正例的概率；纵轴是取值为[0,1]的归一化代价
   $$cos{t}_{norm}=\frac{FNR\times p\times cos{t}_{01}+FPR\times (1-p)\times cos{t}_{10}}{p\times cos{t}_{01}+(1-p)\times cos{t}_{10}}$$
   算代价要从假例出发，FPR假正例率，FNR=1-TPR是假反例率。
   

四、比较检验

我们希望比较的是泛化性能，然而试验评估的是测试集上的性能，两者未必相同。测试集上的性能与测试集本身的选择有很大关系，使用不同大小的测试集会得到不同的结果，即使大小相同，测试样例不同，结果也会不同。很多机器学习算法本身就有一定的随机性，即便用相同的参数设置在同一个测试集上多次运行，其结果也会有不同

• 统计假设检验（hypothesis test） 若测试集上观察到学习器A比B好，则A的泛化性能是否在统计意义上优于B，以及这个结论的把我有多大

1.假设检验

• 假设检验中的“假设”是对学习器泛化错误率分布的某种判断
• 泛化错误率为$ϵ$的学习器被测得错误率为$\widehat{ϵ}$的概率：
  $$P(\widehat{ϵ};ϵ)=\left(\genfrac{}{}{0ex}{}{m}{\widehat{ϵ}\times m}\right){ϵ}^{\widehat{ϵ}\times m}(1-ϵ{)}^{m-\widehat{ϵ}\times m}$$
  m个测试样本，m个样例中恰有$\widehat{ϵ}\times m$ 样例被分配错误。
  解$\partial P(\widehat{ϵ};ϵ)/\partial ϵ$=0可知，$P(\widehat{ϵ};ϵ)$在$ϵ=\widehat{ϵ}$时最大，$\left|ϵ=\widehat{ϵ}\right|$增大时$P(\widehat{ϵ};ϵ)$减小
  当$ϵ=0.3$，则10个样本中测得3个被误分类的概率最大
  可使用“二项检验”（binomial test）来对“$ϵ\le 0.3$”（即泛化错误率是否大于0.3）这样的假设进行检验
  多次留出法估计，这时候可以使用“t检验”（t-test），平均测试错误率$\mu$和方差${\sigma }^2$
  $$\begin{gathered} \mu =\frac{1}{k}\sum _{i=1}^k{\widehat{ϵ}}_i \\ {\sigma }^2=\frac{1}{k-1}\sum _{i=1}^k({\widehat{ϵ}}_i-\mu {)}^2 \end{gathered}$$
  考虑到这k个测试错误率可看作泛化错误率${ϵ}_0$的独立采样，则变量
  $${\tau }_t=\frac{\sqrt{k}(\mu -{ϵ}_0)}{\sigma }$$
  服从自由度k-1的t分布
  待补充假设检验知识

2.交叉验证t检验

对两个学习器A和B，若我们使用k折交叉检验法得到测试错误率分别为${ϵ}_1^A,{ϵ}_2^A,...,{ϵ}_k^A,$和${ϵ}_1^B,{ϵ}_2^B,...,{ϵ}_k^B,$，${ϵ}_i^A$和${ϵ}_i^B$是相同的第i折训练/试验集上得到的结果，则可用k交叉验证 “成对t检验”（paired t-tests） 来进行检验。
每对结果求差${\Delta }_i={ϵ}_i^A-{ϵ}_i^B$，再求差值${\Delta }_1,{\Delta }_2,...,{\Delta }_k$的均值$\mu$和方差${\sigma }^2$，变量
$${\tau }_t=\left|\frac{\sqrt{k}\mu }{\sigma }\right|$$
小于临界值$t_{\alpha /2,k-1}$，则假设不能被拒绝，即认为两个学习器的性能没有显著差别。
交叉检验并不独立，会导致过高估计假设成立概率，为缓解这个问题，可采用 “$5\times 2$交叉验证法”，仅计算第一次2折交叉验证的两个结果的平均值$\mu =0.5({\Delta }_1^1+{\Delta }_1^2)$，但对每次2折实验结果都计算其方差${\sigma }_i^2=({\Delta }_i^1-\frac{{\Delta }_i^1+{\Delta }_i^2}{2}{)}^2+({\Delta }_i^2-\frac{{\Delta }_i^1+{\Delta }_i^2}{2}{)}^2$，变量
$${\tau }_t=\frac{\mu }{\sqrt{0.2{\sum }_{i=1}^5{\sigma }_i^2}}$$
服从自由度为5的t分布，其双边检验的临界值$t_{\alpha /2,5}$

3.McNemar检验

• “列联表”（contingency table）
  若我们做的假设是两个学习器性能相同，则应有$e_{01}=e_{10}$，那么变量$\left|e_{01}-e_{10}\right|$ 应当服从正态分布，且均值为1，方差为$e_{01}+e_{10}$，因此变量
  $${\tau }_{{\chi }^2}=\frac{(\left|e_{01}-e_{10}\right|-1{)}^2}{e_{01}+e_{10}}$$
  服从自由度为1的${\chi }^2$分布

4.Friedman检验与Nemenyi后验检验

交叉验证t检验和McNemar检验都是在一个数据集上比较两个算法的性能。
假设我们用$D_1,D_2,D_3,D_4$四个数据集对算法A、B、C、D进行比较。首先使用留出法或交叉验证法得到每个算法在每个数据集上的测试结果，然后在每个数据集上根据算法测试性能的由好到坏排序，并赋予序值1，2，…;然后得到平均序值
N个数据集上比较k个算法，令$r_i$表示第i个算法的平均序值，$r_i$服从正态分布，其均值和方差分别为$(k+1)/2$和$(k^2-1)/12$，变量
$$\begin{array}{rl}{\tau }_{{\chi }^2}& =\frac{k-1}{k}\cdot \frac{12N}{k^2-1}\sum _{i=1}^k(r_i-\frac{k+1}{2}{)}^2\\ & =\frac{12N}{k(k+1)}(\sum _{i=1}^k{r}_i^2-\frac{k(k+1{)}^2}{4})\end{array}$$
k和N都较大时，服从自由度k-1的${\chi }^2$分布
上述“原始Friedman”检验过于保守，现在通常使用变量
$${\tau }_F=\frac{(N-1){\tau }_{{\chi }^2}}{N(k-1)-{\tau }_{{\chi }^2}}$$
${\tau }_F$服从自由度为k-1和（k-1)(N-1)的F分布
若“所有算法的性能相同”这个假设被拒绝，则说明算法的性能显著不同，这是需要 “后验检验”（post-hoc test） ，常用的Nemenyi后验检验，计算出平均序值差别的临界域
$$CD=q_{\alpha }\sqrt{\frac{k(k+1)}{6N}}$$
若两个算法的平均序值之差超过了临界值域CD，则以相应的置信度拒绝“两个算法性能相同”这一假设

纵轴是算法，圆点表示各个算法的平均序值，标出临界值域，两个算法有交叠，则说明两个算法没有显著差别

五、偏差与方差

• “偏差-方差分解”（bias-variance decomposition） 是解释学习算法泛化性能的一种重要工具，试图对学习算法的期望泛化错误率进行拆解
  以回归任务为例，学习算法$f(x;D)$的期望预测为
  $$\overline{f}(x)=E_D[f(x;D)]$$
  使用样本数相同的不同训练集产生的方差为
  $$var(x)=E_D[(f(x;D)-\overline{f}(x){)}^2]$$
  噪声为
  $${ϵ}^2=E_D[(y_D-y{)}^2]$$
  期望输出与真实标记的差别成为偏差(bias)，即
  $$bia{s}^2(x)=(\overline{f}(x)-y{)}^2$$
  为便于讨论，假设噪声期望为零，即$E_D[y_D-y]=0$。对算法的期望泛化误差进行分解：
  $$\begin{array}{rl}E(f;D)& =E_D[(f(x;D)-y_D{)}^2]\\ & =E_D[(f(x;D)-\overline{f}(x)+\overline{f}(x)-y_D{)}^2]\end{array}$$
  中间推导省略
  结论：
  $E(f;D)=bia{s}^2(x)+var(x)+{ϵ}^2$
  也就是说，泛化误差可分解为偏差、方差与噪声之和
• 偏差，度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力
• 方差，度量了同样大小的训练集变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响
• 噪声，则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度
• 泛化性能是由学习算法的能力、数据的充分性以及学习任务本身的难度所共同决定的
• 偏差与方差是有冲突的，称为 偏差-方差窘境（bias-variance dilemma）
  平衡偏差与方差，训练程度过高，会发生过拟合（泛化误差增大）

总结

本章主要难点在于假设检验，涉及到一些随机数学的知识，后续单独起一章总结假设检验。本章的内容总结不够精炼