机器学习系列：线性回归

1. 基本的线性回归

假设数据集为： $$\mathcal{D}=(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)$$要注意，这里的$x_i$表示的是$(x_{i1},x_{i2},\cdots ,x_{im})$是一个向量
后面我们记： $$X=(x_1,x_2,\cdots ,x_N{)}^T,Y=(y_1,y_2,\cdots ,y_N{)}^T$$ 线性回归假设： $$f(w)=w^{T}x$$
对这个问题，采用二范数定义的平方误差来定义损失函数： $$L(w)=\sum _{i=1}^N||w^T{x}_i-y_i|{|}_2^2$$ 展开得到：
$$\begin{array}{rl}L(w)& =(w^T{x}_1{y}_1,\cdots ,w^T{x}_N-y_N)\cdot (w^T{x}_1-y_1,\cdots ,w^T{x}_N-y_N{)}^T\\ & =(w^T{X}^T-Y^T)\cdot (Xw-Y)\\ & =w^T{X}^{T}Xw-Y^{T}Xw-w^T{X}^{T}Y+Y^{T}Y\\ & =w^T{X}^{T}Xw-2w^T{X}^{T}Y+Y^{T}Y\end{array}$$ 最小化这个值的 $\hat{w}$ ：
$$\begin{array}{rl}\hat{w}=\underset{w}{\mathrm{argmin}}L(w)& ⟶\frac{\partial }{\partial w}L(w)=0\\ & ⟶2X^{T}X\hat{w}-2X^{T}Y=0\\ & ⟶\hat{w}=(X^{T}X{)}^{-1}{X}^{T}Y=X^{+}Y\end{array}$$
这个式子中 $(X^{T}X{)}^{-1}{X}^T$ 又被称为伪逆。对于行满秩或者列满秩的 $X$，可以直接求解，但是对于非满秩的样本集合，需要使用奇异值分解（SVD）的方法，对 $X$ 求奇异值分解，得到 $$X=U\Sigma V^T$$ 于是： $$X^{+}=V{\Sigma }^{-1}{U}^T$$

2.加入正则化

在实际应用时，如果样本容量不远远大于样本的特征维度，很可能造成过拟合，对这种情况，我们有下面三个解决方式：

1. 加数据
2. 特征选择（降低特征维度）如 PCA 算法。
3. 正则化
   这里只看正则化，正则化一般是在损失函数（如上面介绍的最小二乘损失）上加入正则化项（表示模型的复杂度对模型的惩罚），下面我们介绍一般情况下的两种正则化框架。
   $$\begin{array}{rl}L1& :\underset{w}{\mathrm{argmin}}L(w)+\lambda ||w|{|}_1,\lambda >0\\ L2& :\underset{w}{\mathrm{argmin}}L(w)+\lambda ||w|{|}_2^2,\lambda >0\end{array}$$ 下面对最小二乘误差分别分析这两者的区别。

2.1 L1 Lasso

L1正则化可以引起稀疏解。

从最小化损失的角度看，由于 L1 项求导在0附近的左右导数都不是0，因此更容易取到0解。

从另一个方面看，L1 正则化相当于： $$\underset{w}{\mathrm{argmin}}L(w)s.t.||w|{|}_1<C$$ 我们已经看到平方误差损失函数在 $w$ 空间是一个椭球，因此上式求解就是椭球和 $||w|{|}_1=C$的切点，因此更容易相切在坐标轴上。

2.2 L2 Ridge

$$\begin{array}{rl}\hat{w}=\underset{w}{\mathrm{argmin}}L(w)+\lambda w^{T}w& ⟶\frac{\partial }{\partial w}L(w)+2\lambda w=0\\ & ⟶2X^{T}X\hat{w}-2X^{T}Y+2\lambda \hat{w}=0\\ & ⟶\hat{w}=(X^{T}X+\lambda \mathbb{I}{)}^{-1}{X}^{T}Y\end{array}$$

可以看到，这个正则化参数和前面的 MAP 结果不谋而合。利用2范数进行正则化不仅可以是模型选择 $w$ 较小的参数，同时也避免 $X^{T}X$不可逆的问题。