线性回归 岭回归 lasso 详细介绍

线性回归

已知$n$个样本$\{(x_i,y_i)\}^n_{i=1}$，其中$x_i\in \mathbb{R}^d,y_i\in \mathbb{R}$

回归问题学习实值函数$y=f(x)$，其中$f:\mathbb{R}^d\to \mathbb{R}$

最小二乘模型(Least Squares Regression)

模型

最小二乘模型的优化问题为：

$$\hat{\theta}_{LS}=\mathop{\text{argmin}}\limits_{\theta} J_{LS}(\theta) \tag{1}$$
其中
$$J_{LS}(\theta)=\frac{1}{2}\sum_{i=1}^{n}(y_i-f_{\theta}(x_i))^2\\ f_{\theta}(x)=\sum_{i=1}^{b}\theta_i\phi_i(x)=\theta^T\phi(x)$$
$\phi:\mathbb{R}^d\to\mathbb{R}^b$为一个映射，可以是非线性，如 $\phi(x)=x^Tx$

用向量和矩阵可表示为：

$$J_{LS}(\theta)=\frac{1}{2}||y-\Phi\theta||^2_2$$
其中
$$y=(y_1,\dots,y_n)^T \\ \Phi=\left[ \begin{array}{ccc} \phi_1(x_1) & \cdots & \phi_b(x_1)\\ \vdots & & \vdots\\ \phi_1(x_n) & \cdots & \phi_b(x_n) \end{array} \right ]$$
$\Phi\in\mathbb{R}^{n\times b}$为设计矩阵(design matrix)

由于$J_{LS}(\theta)$为凸函数，优化问题(1)有最优解，且最优值点满足：

$$\nabla_{\theta}J_{LS}=-\Phi^T(y-\Phi\theta)=0$$
求解线性方程可得：
$$\hat{\theta}_{LS}=(\Phi^T\Phi)^+\Phi y$$
其中 $(\Phi^T\Phi)^+$表示 $\Phi^T\Phi$的广义逆，当 $\Phi$列满秩时， $\Phi^T\Phi$为满秩矩阵，即 $(\Phi^T\Phi)^+=(\Phi^T\Phi)^{-1}$，此时
$$\hat{\theta}_{LS}=(\Phi^T\Phi)^{-1}\Phi y$$

算法

1. 利用公式$\hat{\theta}_{LS}=(\Phi^T\Phi)^+\Phi y$计算

2. 梯度下降(收敛)：

   迭代公式为$\theta \longleftarrow \theta-\epsilon \nabla_{\theta}J_{LS}$，其中$\nabla_{\theta}J_{LS}=-\Phi^T(y-\Phi\theta)$

拓展

加权最小二乘(Weighted LS)：

$$\mathop{\text{argmin}}\limits_{\theta} \frac{1}{2}\sum_{i=1}^{n}w_i(y_i-f_{\theta}(x_i))^2$$
其中 $w_i\in\mathbb{R}^+,i=1,\dots,n$为权重

用向量矩阵表示为：