拉索回归部分

1 Lasso 回归
Lasso 也是对系数的大小设置了惩罚项，但惩罚项引入的方式略不同，具体来说，

KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ \min_{\beta} (…

等价地，我们可以用以下损失函数来表示：

P R S S ( β ) = ( y − z β ) T ( y − z β ) + λ ∥ β ∥ 1 PRSS(\beta)=(y-z\beta)^{T}(y-z\beta){\lambda} +\| {\beta} \|_{1}PRSS(β)=(y−zβ) T (y−zβ)+λ∥β∥ 1

仍然，λ 是这个问题的调整参数，不过一般情况下我们无法得到 β 的显示解。但是，当数据矩阵中各变量都相互正交且模为 1 时，我们可以得到 Lasso 的显示解。在 Lasso 中，可以看到，惩罚项由平方换成了绝对值。虽然绝对值是凸函数，函数在 0 点有唯一的最小值，但其在此点不可导。当某项的惩罚系数足够大时，那么它将无法进入模型（变量选择），只有那些回归系数非0的变量才会被选入模型。

2.Ridge回归
Ridge 回归 (Hoerl and Kennard, 1970) 的原理和 OLS 估计类似，但是对系数的大小设置了惩罚项。具体来说，

KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ \min_{\beta} (…

其中，t 代表惩罚的力度，t 越大，对系数的大小惩罚越重，约束越紧。取系数的平方和形式可以避免正负系数相抵消的情况。在矩阵形式中，Z 按照传统是标准化之后的（均值为 0，方差为 1），y 也需要中心化。不难证明，这个优化问题的解是：

β r i d g e = ( z T z + λ I p ) − 1 z T y {\beta}^{ridge}=(z^{T}z+\lambda I_{p})^{-1}z^{T}yβ ridge =(z T z+λI p ) −1 z T y显然，λ 是这个问题的调整参数，当 λ 趋于 0 的时候，就退化为一般的 OLS 估计。当 λ 趋于正无穷的时候， 则是纯截距回归。实践中，可以通过交叉验证（cross validation）的方法来选择调整参数 λ 。在 Stata 命令中，可以通过命令 rxridge 来实现 Ridge 回归。

msteps 代表共线性容忍参数每增加一单位所带来的步数变化
qshape 控制了沿似似然空间收缩的形状
rescale 是调整方差的参数，比如 rescale(1) 就是让所有中心化变量方差都为 1 ，rescale(0) 就是让所有变量都保持原来的方差
tol(#) 用于设定收敛判据