TASK3-方差和偏差理论

视频要点

P13 偏差和方差理论

方差

这里直接粘贴一个视频里的例子，很形象：

我们想要建立一个线性回归模型，可以通过输入中国人身高去预测我们的体重。但是显然我们没有办法把全中国13亿人做一次人口普查，拿到13亿人的身高体重去建立模型。我们能做的就是从13亿中抽1000个样本进行建模，我们对这个抽样的过程重复100遍，就会得到100个1000人的样本集。我们使用线性回归模型估计参数就能得到100个线性回归模型。由于样本抽取具有随机性，我们得到的100个模型不可能参数完全一样，那么这100个模型之间的差异就叫做方差。显然，我们希望得到一个稳定的模型，也就是在不同的样本集估计的模型都不会相差太大，即要求f的方差越小越好。一般来说，模型的复杂度越高，f的方差就会越大。 如加入二次项的模型的方差比线性回归模型的方差要大。

偏差

• 偏差的构成是复杂的。
• 偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力。

---

• 偏差度量的是单个模型的学习能力，而方差度量的是同一个模型在不同数据集上的稳定性。
• “偏差-方差分解”说明：泛化性能是由学习算法的能力、数据的充分性以及学习任务本身的难度所共同决定的。给定学习任务，为了取得好的泛化性能，则需使偏差较小，即能够充分拟合数据，并且使方差较小，即使得数据扰动产生的影响小。

• 不可约误差$var\left(ϵ\right)$的值只跟任务有关，一旦任务确定下来，这个值就不会变了；它代表了建模任务的难度，任务越南，该值越大
• 模型的方差指的是用不同的数据集去估计$f$时，估计函数的改变量（模型参数之间的差异）；模型的复杂度越高，$f$的方差越大

P14 测试误差的间接估计：Cp、AIC和BIC

• RSS： Residual Sum of Squares，残差平方和
  $$RSS=\sum _{i=1}^n{\left({\hat{y}}_i-y_i\right)}^2$$
  ${\hat{y}}_i$为预测值，$y_i$为观测值
• $C_p=\frac{1}{N}(RSS+2d{\hat{\sigma }}^2)$，其中d为模型特征个数，$RSS=\sum _{i=1}^N(y_i-\hat{f}(x_i){)}^2$，${\hat{\sigma }}^2$为模型预测误差的方差的估计值，即残差的方差。
• AIC赤池信息量准则：$AIC=\frac{1}{d{\hat{\sigma }}^2}(RSS+2d{\hat{\sigma }}^2)$
• BIC贝叶斯信息量准则：$BIC=\frac{1}{n}(RSS+log(n)d{\hat{\sigma }}^2)$
• 上述这三个量都是对训练误差进行修正的，修正思路就是加入关于特征个数的惩罚项。
• 其中$BIC$惩罚最重（为什么？），相对于其它两个量来说选用的特征个数是最小的
• 在一些模型的summary()结果中，有一项Adj.R-squared，它的代表的就是调整后的R方，一般调整后的会比调整前要小。

P15-17 偏差与方差理论的应用：特征选择，正则化-压缩估计（岭回归、Lasso回归），PCA降维

• 目的：从p个特征中选择m个特征，使得对应的模型的测试误差的估计最小

• 方法：

  • 最优子集选择
  1. 记不含任何特征的模型为$M_0$，计算这个$M_0$的测试误差。
  2. 在$M_0$基础上增加一个变量，计算$p$个模型的$RSS$，选择$RSS$最小的模型记作$M_1$，并计算该模型$M_1$的测试误差。
  3. 再增加变量，计算$p\times \left(p-1\right)$个模型的$RSS$，并选择$RSS$最小的模型记作$M_2$，并计算该模型$M_2$的测试误差。
  4. 重复以上过程知道拟合的模型有$p$个特征为止，并选择$p+1$个模型 { M 0 , M 1 , . . . , M p } \{M_0,M_1,...,M_p \} {M0​,M1​,...,Mp​}中测试误差最小的模型作为最优模型。
  • 向前逐步选择： 最优子集选择虽然在原理上很直观，但是随着数据特征维度p的增加，子集的数量为$2^p$，计算效率非常低下且需要的计算内存也很高，在大数据的背景下显然不适用。因此，我们需要把最优子集选择的运算效率提高
  6. 记不含任何特征的模型为$M_0$，计算这个$M_0$的测试误差。
  7. 在$M_0$基础上增加一个变量，计算$p$个模型的RSS，选择RSS最小的模型记作$M_1$，并计算该模型$M_1$的测试误差。
  8. 在最小的RSS模型下继续增加一个变量，选择RSS最小的模型记作$M_2$，并计算该模型$M_2$的测试误差。
  9. 以此类推，重复以上过程知道拟合的模型有p个特征为止，并选择p+1个模型 { M 0 , M 1 , . . . , M p } \{M_0,M_1,...,M_p \} {M0​,M1​,...,Mp​}中测试误差最小的模型作为最优模型。
  • 压缩估计(计算机中称为正则化)： 上述方法可以看作是对特征进行“离散地”选择，相对比较粗暴，现在我们希望能对特质进行“连续地”选择。我们可以对回归的系数进行约束或者加罚的技巧对p个特征的模型进行拟合，显著降低模型方差，这样也会提高模型的拟合效果。具体来说，就是将回归系数往零的方向压缩，这也就是为什么叫压缩估计的原因了。而压缩地结果可能会导致某些特征地系数趋近于0，这就相当于是抛弃了这些特征，也就近似是特征选择了。
    • 岭回归(L2正则化的例子)：
      • 在线性回归中，我们的损失函数为$J(w)=\sum _{i=1}^N(y_i-w_0-\sum _{j=1}^p{w}_j{x}_{ij}{)}^2$，我们在线性回归的损失函数的基础上添加对系数的约束或者惩罚，即：
        $$\begin{gathered} J(w)=\sum _{i=1}^N(y_i-w_0-\sum _{j=1}^p{w}_j{x}_{ij}{)}^2+\lambda \sum _{j=1}^p{w}_j^2,其中，\lambda \ge 0 \\ \hat{w}=(X^{T}X+\lambda I{)}^{-1}{X}^{T}Y \end{gathered}$$
      • 调节参数$\lambda$的大小是影响压缩估计的关键，$\lambda$越大，惩罚的力度越大，系数则越趋近于0，反之，选择合适的$\lambda$对模型精度来说十分重要。岭回归通过牺牲线性回归的无偏性降低方差，有可能使得模型整体的测试误差较小，提高模型的泛化能力。
    • Lasso回归(L1正则化的例子)：
      • 岭回归的一个很显著的特点是：将模型的系数往零的方向压缩，但是岭回归的系数只能呢个趋于0但无法等于0，换句话说，就是无法做特征选择。能否使用压缩估计的思想做到像特征最优子集选择那样提取出重要的特征呢？答案是肯定的！我们只需要对岭回归的优化函数做小小的调整就行了，我们使用系数向量的L1范数替换岭回归中的L2范数：
        $$J(w)=\sum _{i=1}^N(y_i-w_0-\sum _{j=1}^p{w}_j{x}_{ij}{)}^2+\lambda \sum _{j=1}^p|w_j|,其中，\lambda \ge 0$$
      • 如何最优化： 最小角回归（Least Angle Regression，LARS）
      • 为什么Losso能做到特征选择而岭回归却不能呢个做到呢？(如图：左边为lasso，右边为岭回归)椭圆形曲线为RSS等高线，菱形和圆形区域分别代表了L1和L2约束，Lsaao回归和岭回归都是在约束下的回归，因此最优的参数为椭圆形曲线与菱形和圆形区域相切的点。但是Lasso回归的约束在每个坐标轴上都有拐角，因此当RSS曲线与坐标轴相交时恰好回归系数中的某一个为0，这样就实现了特征提取。反观岭回归的约束是一个圆域，没有尖点，因此与RSS曲线相交的地方一般不会出现在坐标轴上，因此无法让某个特征的系数为0，因此无法做到特征提取。
  • 降维： 上述方法都是基于原始特征$x_1,...,x_p$得到的，现在考虑一种新的思路：将原始的特征空间投影到一个低维的空间实现变量的数量变少，如：将二维的平面投影至一维空间。
    • 机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y，其中x是原始数据点的表达，目前最多使用向量表达形式。 y是数据点映射后的低维向量表达，通常y的维度小于x的维度（当然提高维度也是可以的）。f可能是显式的或隐式的、线性的或非线性的。目前大部分降维算法处理向量表达的数据，也有一些降维算法处理高阶张量表达的数据。之所以使用降维后的数据表示是因为在原始的高维空间中，包含有冗余信息以及噪音信息，在实际应用例如图像识别中造成了误差，降低了准确率；而 通过降维,我们希望减少 冗余信息 所造成的误差,提高识别（或其他应用）的精度（去噪） 。又或者 希望通过降维算法来寻找数据内部的本质结构特征（无监督学习） 。在很多算法中，降维算法成为了数据预处理的一部分，如PCA。事实上，有一些算法如果没有降维预处理，其实是很难得到很好的效果的。 (摘自：rosenor1博客)
    • 主成分分析(PCA)：
      • 主成分分析的思想： 通过***最大投影方差*** 将原始空间进行重构，即由特征相关重构为无关，即落在某个方向上的点(投影)的方差最大。在进行下一步推导之前，我们先把样本均值和样本协方差矩阵推广至矩阵形式：
        • 样本均值Mean:$\bar{x}=\frac{1}{N}\sum _{i=1}^N{x}_i=\frac{1}{N}{X}^T{1}_N,其中1_N=(1,1,...,1{)}_N^T$
        • 样本协方差矩阵$S^2=\frac{1}{N}\sum _{i=1}^N(x_i-\bar{x})(x_i-\bar{x}{)}^T=\frac{1}{N}{X}^{T}HX,其中，H=I_N-\frac{1}{N}{1}_N{1}_N^T$
        • 最大投影方差的步骤：
        1. 中心化：$x_i-\bar{x}$
        2. 计算每个点$x_1,...,x_N$至${\vec{u}}_1$方向上的投影：$(x_i-\bar{x}){\vec{u}}_1,||{\vec{u}}_1||=1$
        3. 计算投影方差：$J=\frac{1}{N}\sum _{i=1}^N[(x_i-\bar{x}{)}^T{\vec{u}}_1{]}^2,||{\vec{u}}_1||=1$
        4. 最大化投影方差求${\vec{u}}_1$：
           $$\begin{gathered} {\bar{u}}_1=argma{x}_{u_1}\frac{1}{N}\sum _{i=1}^N[(x_i-\bar{x}{)}^T{\vec{u}}_1{]}^2 \\ s.t.{\vec{u}}_1^T{\vec{u}}_1=1({\vec{u}}_1往后不带向量符号) \end{gathered}$$
           得到：
           $$\begin{gathered} J=\frac{1}{N}\sum _{i=1}^N[(x_i-\bar{x}{)}^T{\vec{u}}_1{]}^2=\frac{1}{N}\sum _{i=1}^N[u_1^T(x_i-\bar{x})(x_i-\bar{x}{)}^T{u}_1] \\ =u_1^T[\frac{1}{N}\sum _{i=1}^N(x_i-\bar{x})(x_i-\bar{x}{)}^T]u_1=u_1^T{S}^2{u}_1 \end{gathered}$$
           即：
           $$\begin{gathered} {\hat{u}}_1=argma{x}_{u_1}{u}_1^T{S}^2{u}_1,s.t.u_1^T{u}_1=1 \\ L(u_1,\lambda )=u_1^T{S}^2{u}_1+\lambda (1-u_1^T{u}_1) \\ \frac{\partial L}{\partial u_1}=2S^2{u}_1-2\lambda u_1=0 \\ 即：S^2{u}_1=\lambda u_1 \end{gathered}$$
           可以看到：$\lambda$为$S^2$的特征值，$u_1$为$S^2$的特征向量。因此我们只需要对中心化后的协方差矩阵进行特征值分解，得到的特征向量即为投影方向。如果需要进行降维，那么只需要取p的前M个特征向量即可。

P18 线性代数补充：特征值与特征向量

直接看这个就行了：3Blue1Brown地线性代数地本质-p14特征向量与特征值

P19 模型超参数调优：网络搜索与随即搜索

---

作业

1. 请用一个具体的案例解释什么是偏差和方差

2. 偏差与方差和误差之间的关系

• 测试均方误差的期望值可以分解为$\hat{f}(x_0)$的方差、$\hat{f}(x_0)$的偏差平方和误差项$ϵ$的方差。
  $$E{\left(y_0-\hat{f}\left(x_0\right)\right)}^2=\mathrm{Var}\left(\hat{f}\left(x_0\right)\right)+{\left[\mathrm{Bias}\left(\hat{f}\left(x_0\right)\right)\right]}^2+\mathrm{Var}(\epsilon )$$
• 见前面P13笔记
  • 偏差度量的是单个模型的学习能力，而方差度量的是同一个模型在不同数据集上的稳定性。
  • 不可约误差$var\left(ϵ\right)$的值只跟任务有关，一旦任务确定下来，这个值就不会变了；它代表了建模任务的难度，任务越南，该值越大
  • “偏差-方差分解”说明：泛化性能是由学习算法的能力、数据的充分性以及学习任务本身的难度所共同决定的。给定学习任务，为了取得好的泛化性能，则需使偏差较小，即能够充分拟合数据，并且使方差较小，即使得数据扰动产生的影响小。

3. 训练误差与测试误差之间的联系和区别，如何估计误差

• 使用训练集上算得的误差，那么这个误差为训练误差；使用测试集上算得的误差，那么这个误差为测试误差
• 模型的训练均方误差最小时，不能保证测试均方误差同时也很小；一般在训练误差达到最小时，测试均方误差一般很大
• 一般而言，我们并不关心模型在训练集上的训练误差，我们关心的是模型面对未知的样本集，即测试集上的测试误差，我们的目标是使得我们建立的模型在测试集上的测试误差最小
• 估计测试误差的方法分为间接估计和直接估计，简介估计见前面P14笔记，直接估计是交叉验证，典型方法是K-折交叉验证，即训练样本分成K等分，用K-1个样本集当做训练集，剩下的一份样本集为验证集去估计由K-1个样本集得到的模型的精度，这个过程重复K次取平均值得到测试误差的一个估计$C{V}_{(K)}=\frac{1}{K}\sum _{i=1}^{K}MS{E}_i$。

4. 岭回归和lasso回归的异同点

• 相同点：二者都属于压缩估计（正则化）方法，都对回归的系数进行约束或者加罚的技巧对p个特征的模型进行拟合，显著降低模型方差
• 不同点
  • 岭回归是用的L2正则化，损失函数为
    $$\begin{gathered} J(w)=\sum _{i=1}^N(y_i-w_0-\sum _{j=1}^p{w}_j{x}_{ij}{)}^2+\lambda \sum _{j=1}^p{w}_j^2,其中，\lambda \ge 0 \\ \hat{w}=(X^{T}X+\lambda I{)}^{-1}{X}^{T}Y \end{gathered}$$
    它只能是系数趋近于0，不能使他们真的为0，是近似地进行“特征选择”
  • Lasso回归用的是L1正则化，需要用最小角回归来进行优化，损失函数为
    $$J(w)=\sum _{i=1}^N(y_i-w_0-\sum _{j=1}^p{w}_j{x}_{ij}{)}^2+\lambda \sum _{j=1}^p|w_j|,其中，\lambda \ge 0$$
    Lasso回归可以做到使特征的权重降为0，实现特征选择

5. 如果使用PCA降维前是一个三维的椭球，那么把该图形降维成二维是一个什么样的图形

椭圆或圆？

6. 尝试使用对偶理论和核函数对PCA进行非线性拓展，使得PCA变成非线性降维

7. 本教程讲述的三种模型简化的方法之间有什么异同点

• 三种方法分别为：

1. 基于原始变量的子集“离散地”选取特征
2. 使用压缩估计（正则化）方法 “连续地”选取特征
3. 降维来达到去噪或实现无监督学习（发现数据内部的本质结构特征）

• 三种方法相同点：都是对特征进行简化

8. 尝试使用sklearn，对一组数据先进行特征的简化（使用三种方式），再使用回归模型，最后使用网络搜索调参，观察三种方法的优劣