今天温习了一下这三者的区别。
一、回归
矩阵形式的多元线性模型为:
$$y=X\beta+\xi$$
那么残差为$(y-X\beta)$,残差平方和RSS为:
$$(y-X\beta)^T(y-X\beta)$$
用最小二乘法的回归的计算公式如下:
$$\hat{\beta} = (X^TX)^{-1}X^Ty$$
那么问题来了,
1)多重共线性,及非满秩矩阵。这样逆矩阵非常不稳定(因为理论上逆不存在),这样解没有意义;
2)变量比样本多时,回归系数很大,无法求解。
岭回归、LASSO和elastic net都是有偏估计。
二、岭回归
$$\widehat{\beta(\lambda)} = (X'X+\lambda I)^{-1}X'y$$
$$\widehat{\beta(\lambda)} = \mathop{\arg\min}_{\beta}\{\sum_{i=1}^N (y_i-\beta_0-\sum_{j=1}^p x_{ij}\beta_j)^2 + \lambda\sum_{j=1}^p \beta_j^2\}$$
三、LASSO
$$\widehat{\beta(\lambda)} = \mathop{\arg\min}_{\beta}\{\sum_{i=1}^N (y_i-\beta_0-\sum_{j=1}^p x_{ij}\beta_j)^2 + \lambda\sum_{j=1}^p |\beta_j|\}$$
四、elastic net
$$\widehat{\beta(\lambda)} = \mathop{\arg\min}_{\beta}\{\sum_{i=1}^N (y_i-\beta_0-\sum_{j=1}^p x_{ij}\beta_j)^2 + \lambda\sum_{j=1}^p (\alpha\beta_j^2 + (1-\alpha)|\beta_j|)\}$$
参考资料:
http://f.dataguru.cn/thread-598486-1-1.html