机器学习笔记_回归_4: 最小二乘的改进(1)

局部加权回归

---

岭回归(ridge regression)RR（稀疏矩阵）

• 针对多重共线性 $|X^TX| \approx0$$:\quad\hat{\beta}=(X^TX+kI)^{-1}X^Ty$
  $k: 岭参数$=>得到$\beta$参数的估计族
  有偏估计

• 岭迹： 参数 $k在（0，+\infty ），则\quad\hat{\beta}是k的参数，所有曲线是岭迹$

• k的选择($MSE(\hat{\beta})$最小)

---

PCR和偏最小二乘

---

补充内容：

Shrinkage Methods

• 岭回归

岭回归的求解 <=> <script type="math/tex" id="MathJax-Element-7"><=></script>

$\hat{\beta}^{ridge}=argmin_{\beta}\{\sum\limits_{i=1}^{N}(y_i-\beta_0-\sum\limits_{j=1}^{p}x_{ij}\beta_j)^2+\lambda\sum\limits_{j=1}^{p}\beta_j^2\}$

$\lambda: 岭参数$

$\quad\hat{\beta}=(X^TX+\lambda I)^{-1}X^Ty \quad 和 \quad{\beta}=(X^TX)^{-1}X^Ty$

若x的列正交则$X^TX=I$ =>

$\hat{\beta}^{ridge}=\frac{\hat{\beta_j}}{1+\lambda}$
岭回归将系数缩小

---

Lasso

在rr的基础上可以选择变量

• RR等价于求解

  $\hat{\beta}^{ridge}=argmin_{\beta}\{\sum\limits_{i=1}^{N}(y_i-\beta_0-\sum\limits_{j=1}^{p}x_{ij}\beta_j)^2+\lambda\sum\limits_{j=1}^{p}\beta_j^2\}$

• Lasso等价于

$\hat{\beta}^{lasso}=argmin_{\beta}\{\sum\limits_{i=1}^{N}(y_i-\beta_0-\sum\limits_{j=1}^{p}x_{ij}\beta_j)^2+\lambda\sum\limits_{j=1}^{p}\beta_j\}$

$=>$

$\hat{\beta}^{lasso}=argmin_{\beta}\{\sum\limits_{i=1}^{N}(y_i-\beta_0-\sum\limits_{j=1}^{p}x_{ij}\beta_j)^2\}$
subject.to. $\quad \lambda\sum\limits_{j=1}^{p}|\beta_j| \leq t$

---

关于lasso和RR的贝叶斯观点

---