【数模/预测】岭回归和Lasso回归

声明：文章参考数学建模清风的网课编写。

最小二乘法

多元线性回归，假设$x_1,x_2,...,x_p$是自变量， $y$是因变量，且满足如下线性关系：$$y_i={\beta }_0+\sum _j{\beta }_j{x}_{ij}+{\mu }_i,i=1,2,...,n;j=1,2,...,p;$$其中${\beta }_0,{\beta }_1,...,{\beta }_p$为回归系数，${\mu }_i$为无法观测且满足一定条件的扰动项。

一般求解多元线性回归系数使用的方法为：普通最小二乘法（OLS）。

那么，最小二乘法是如何求解回归系数呢？

$\hat{\beta }$的取值依赖于，预测值与真实值的偏差${\sum }_{i=1}^n|y_i-\widehat{y_i}|$。预测值与真实值的偏差最小时取得$\hat{\beta }$。
${\mu }_i$被称为残差$|y_i-\widehat{y_i}|$。
可以理解为：线性回归就是从对原始数据拟合的多条直线中取了偏差最小的一条。

最小二乘法求解回归系数步骤：
1.建立方程，即误差与系数之间的方程。当误差值取最小时的系数即为回归系数：
设有n个因变量$Y$以及n列自变量$X$:$$Y=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right],X=\left[\begin{array}{c}{X}_1,X_2,...,X_n\end{array}\right]=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \dots & x_{1n}\\ x_{21}& x_{22}& \dots & x_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ x_{p1}& x_{p2}& \dots & x_{pn}\end{array}\right]$$我们可以找到一组系数：$\beta =\left[\begin{array}{c}{\beta }_1\\ {\beta }_2\\ ⋮\\ {\beta }_p\end{array}\right]$使得$X^{\prime }\beta$(矩阵运算)的值尽可能接近$Y$:$$\hat{Y}=X^{\prime }\beta =\left[\begin{array}{c}{X}_1^{\prime }\beta \\ X_2^{\prime }\beta \\ ⋮\\ X_n^{\prime }\beta \end{array}\right]$$定义误差（接近程度）为：$$Y-\hat{Y}=Y-X^{\prime }\beta =\left[\begin{array}{c}{Y}_1-X_1^{\prime }\beta \\ Y_2-X_2^{\prime }\beta \\ ⋮\\ Y_n-X_n^{\prime }\beta \end{array}\right]$$进一步消除误差的符号，对每一项平方再相加。得到接近程度的最终表示式：$$\begin{array}{rl}L& =(Y-\hat{Y}{)}^{\prime }(Y-\hat{Y})\\ & =\left[Y_1-X_1^{\prime }\beta ,Y_2-X_2^{\prime }\beta ,...,Y_n-X_n^{\prime }\beta \right]\left[\begin{array}{c}{Y}_1-X_1^{\prime }\beta \\ Y_2-X_2^{\prime }\beta \\ ⋮\\ Y_n-X_n^{\prime }\beta \end{array}\right]\end{array}$$

2.对建立的方程求导。利用一阶导数为0，二阶导数大于零求最小值：
对$L$求导涉及对矩阵求导，因此这里只给出求导结果（这里使用$\hat{\beta }$，因为求解出的是系数的估计值）：$$\frac{\partial L}{\partial \hat{\beta }}=-2X^{\prime }Y+2X^{\prime }X\hat{\beta }$$

可以求出并证明二阶导数是大于0的，由一阶导数可以得到：$$\hat{\beta }=(X^{\prime }X{)}^{-1}Y$$时误差最小，此时取得回归系数的估计值。

最小二乘法存在的问题：
由回归系数表达式$\hat{\beta }=(X^{\prime }X{)}^{-1}Y$，其中$(X^{\prime }X{)}^{-1}$读作：X的转置乘X的逆。

可知使用最小二乘法估计回归系数必须要求X的转置乘X的逆存在，而当自变量存在完全多重共线性时会导致X的转置乘X的逆不存在。

那么，如何解决这一问题呢？

岭回归

岭回归通过调整误差方程：$$L=(Y-\hat{Y}{)}^{\prime }(Y-\hat{Y})+\lambda \sum _{i=1}^p{\beta }_i^2,\lambda >1$$经过调整后，对方程求导：$$\frac{\partial L}{\partial \hat{\beta }}=-2X^{\prime }Y+2X^{\prime }X\hat{\beta }+2\lambda \hat{\beta }$$可以求出并证明二阶导数是大于0的，由一阶导数可以得到：$$\hat{\beta }=(X^{\prime }X+\lambda I{)}^{-1}{X}^{\prime }Y$$可以证明：当$\lambda >1$时，$(X^{\prime }X+\lambda I{)}^{-1}$总是存在的问题迎刃而解。

岭回归需要选择合适的$\lambda$值：

使用最小化均方误差的方式估计$\lambda$值：我们使⽤ K 折交叉验证的⽅法来选择最佳的调整参数。所谓的K 折交叉验证，是说将样本数据随机分为 K 个等分。将第 1 个⼦样本作为 “验证集”（validation set）⽽保留不⽤，⽽使⽤其余 K-1 个⼦样本作为 “训练集”（training set）来估计此模型，再以此预测第 1 个⼦样本，并计算第1个⼦样本的 “均⽅预测误差”（Mean Squared Prediction Error）。其次，将第 2 个⼦样本作为验证集，⽽使⽤其余 K-1 个⼦样本作为训练集来预测第2个⼦样本，并计算第 2 个⼦样本的 MSPE。以此类推，将所有⼦样本的 MSPE 加总，即可得整个样本的 MSPE。最后，选择调整参数 ，使得整个样本的 MSPE 最⼩，故具有最佳的预测能⼒。

Lasso回归

与岭回归基本相同，此时：$$L=(Y-\hat{Y}{)}^{\prime }(Y-\hat{Y})+\lambda \sum _{i=1}^p|{\beta }_i|$$Lasso回归与相比，最大特点是可以将不重要的变量回归系数压缩至0（可以用来筛选变量，相当于高级逐步回归），岭回归虽然也对原本的系数进行了一定程度上的压缩，但不会压缩为0，最终会保留所有变量。

缺点是：无显式解，只能使用近似估计算法，估计结果不稳定存在误差。

Stata进行Lasso回归

1. 安装lassopack（已安装可忽略这一步）：
   输入findit lassopack并回车；

   点击蓝色链接：
   
   点击安装：
   
   等待安装完毕即可。

2. 对变量进行标准化，即统一量纲。
   岭回归和Lasso回归的调整项是直接相加的，因此如果量纲不统一，则计算结果是无意义的。可以使用matlabzscore()命令，或excel对数据进行预处理。

3. Lasso回归命令：

   cvlasso y x1 x2 ... xn, lopt seed(520)
   

   lopt表示选择使MSPE最小的$\lambda$;
   选项seed(520)表示将随机数种子设为520（可以变动），以便结果具有可重复性；
   默认K=10即10折交叉验证。

   
   
   打星号处的 λ=69.02，这是使 MSPE 最小的调整参数。
   
   上表右边第 1 列即为 Lasso 所估计的变量系数。其中，除常数项外，只有 3 个变量的系数为非零，而其余变量（未出现在表中）的系数则为 0。考虑到作为收缩估计量的 Lasso 存在偏差（bias），上表右边第 2 列汇报了 “Post Lasso” 估计量的结果，即仅使用 Lasso 进行变量筛选，然后扔掉 Lasso 的回归系数，再对筛选出来的变量进行 OLS 回归。

   注意：以上结果可能随着我们之前设置的随机数种子变化，因为lasso回归的估计是近似算法，且剔除的多重共线性变量是相对的。

什么情况使用Lasso回归

当变量存在多重共线性时，方差膨胀因子VIF>10则说明存在多重共线性的问题，此时我们需要对变量进行筛选。

使用Lasso回归得到了重要变量后，我们实际上就完成了变量筛选，此时我们只将这些重要变量视为自变量，然后进行回归，并分析回归结果即可。（注意：此时的变量可以是标准化前的，也可以是标准化后的，因为lasso只起到变量筛选的目的）。