岭回归和lasso回归

岭回归和lasso回归
在 OLS 回归模型的损失函数上加入了不同的惩罚项，本质就是正则化。

(1) 古典回归模型

1. 线性假定

• 矩阵表示$$\mathbf{y}=X\mathbf{\beta }+\mathbf{ϵ}$$
• 其中 $\mathbf{y}=(y_1,y_2,\dots ,y_n{)}^T$，$\mathbf{\beta }=({\beta }_1,{\beta }_2,\dots ,{\beta }_n{)}^T$，$\mathbf{ϵ}=({ϵ}_1,{ϵ}_2,\dots ,{ϵ}_n{)}^T$，
  $$X=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1p}\\ x_{21}& x_{22}& \cdots & x_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ x_{n1}& x_{n2}& \cdots & x_{np}\end{array}\right]$$

2. 严格外生性

保证估计出来的回归系数无偏且一致

$E({ϵ}_i|X)=0(i=1,2,\dots ,n)$
由上式得出的结论：

• $E({ϵ}_i)=0$　　迭代期望定理：$E(E({ϵ}_i|X))=E({ϵ}_i)$
• $Cov({ϵ}_i,x_{jk})=0(i=1,2,\dots ,n,j=1,2,\dots ,n,k=1,2,\dots ,p)$ 即所有的自变量都与扰动项不相关。
  $$\begin{array}{rl}E({ϵ}_i|x_{jk})& =E[E({ϵ}_i|X)|x_{jk}]=0\\ E(x_{jk}{ϵ}_i)& =E[E(x_{jk}{ϵ}_i|x_{jk})]=E[x_{jk}E({ϵ}_i|x_{jk})]=0(条件期望的线性性质为E[f(\mathbf{x})y|\mathbf{x}]=f(\mathbf{x})E(y|\mathbf{x}))\\ Cov({ϵ}_i,x_{jk})& =E({ϵ}_i{x}_{jk})-E({ϵ}_i)E(x_{jk})\\ & =E({ϵ}_i{x}_{jk})\\ & =0\end{array}$$

3. 无完全多重共线性

保证能估计出来

• $R(X_{n\times p})=p$ 保证数据矩阵的秩为 $p$。
• 得到结论
  • $n\ge p$
  • $R(X^{T}X)=R(X)=p$，说明 $X^{T}X$ 一定可逆。

4. 误差的球面方差

• 同方差：$E({ϵ}_i^2|X)={\sigma }^2>0(i=1,2,\dots ,n)$
• 观测值的无相关：$E({ϵ}_i{ϵ}_j|X)=0(i,j=1,2,\dots ,n;i\ne j)$

(2) 岭回归和lasso回归

1. 基本的线性回归

$\hat{\mathbf{\beta }}=({\hat{\beta }}_1,{\hat{\beta }}_2,\dots ,{\hat{\beta }}_n{)}^T$

• 多元性线性回归：$$\hat{\mathbf{\beta }}=\underset{\hat{\mathbf{\beta }}}{\mathrm{argmin}}\sum _{i=1}^n(y_i-x_i^T\hat{\mathbf{\beta }}{)}^2$$

2. 岭回归 (附加一个二范数)

• 岭回归：$$\begin{array}{rl}\hat{\mathbf{\beta }}& =\underset{\hat{\mathbf{\beta }}}{\mathrm{argmin}}[\sum _{i=1}^n(y_i-x_i^T\hat{\mathbf{\beta }}{)}^2+\lambda \sum _{k=1}^n{\hat{\beta }}_i^2]\\ & =\underset{\hat{\beta }}{\mathrm{argmin}}[(\mathbf{y}-X\hat{\mathbf{\beta }}{)}^T(\mathbf{y}-X\hat{\mathbf{\beta }})+\lambda {\hat{\mathbf{\beta }}}^T\hat{\mathbf{\beta }}]\\ & =(X^{T}X+\lambda \mathbf{I}{)}^{-1}{X}^T\mathbf{y}\end{array}$$

⭐️确定 $\lambda$ 的方法

• 岭迹分析
  当 $\lambda$ 取 $0\to \infty$ 时得到的 $\hat{\mathbf{\beta }}$ 中各个分量的变化曲线（岭迹图），将 $\lambda$ 选取在各回归系数相对稳定，符号合理，并且残差平方和增加不太多处，选取的主观成分比较多。

• VIF 方法
  已经知道当 $\max \mathbf{V}\mathbf{I}{\mathbf{F}}_{\mathbf{i}}>10$ 存在严重的多重共线性，因此可以不断增加 $\lambda$ 最终保证所有的 ${\hat{\beta }}_i$ 的 VIF$<10$。
• K 折交叉验证 方法
  将样本数据随机分为 $K$ 等分，依次选取子样本 $a_i$ 作为验证集，每次选取一个，并将剩下的 $K-1$ 个子样本 $a_1,a_2,\dots ,a_{i-1},a_{i+1},\dots ,a_K$ 作为训练集来预测 $a_i$ ，并计算出 $\mathbf{M}\mathbf{S}{\mathbf{E}}_{\mathbf{i}}$，最终求解 $$\underset{\lambda }{\mathrm{argmin}}\sum _{i=1}^K\mathbf{M}\mathbf{S}{\mathbf{E}}_{\mathbf{i}}$$

3. Lasso 回归 (附加一个一范数)

• Lasso 回归
  $$\hat{\mathbf{\beta }}=\underset{\hat{\mathbf{\beta }}}{\mathrm{argmin}}[\sum _{i=1}^n(y_i-x_i^T\hat{\mathbf{\beta }}{)}^2+\lambda \sum _{k=1}^n|{\hat{\beta }}_i|]$$
  ⭐️ 无显示解，只能使用近似估计算法，但相比于岭回归，好在可以将不需要的变量的回归系数直接压缩至 0。
• STATA
  • 下载对应的包findit lassopack
  • cvlasso A1 A2...At,lopt seed(number)，number可以自己选择一个数填入，选取不同的数得到的结果不同。