线性模型（贰）

正则化（Regulization）

当出现$\hat{\theta }=(X^{T}X{)}^{-1}{X}^{T}Y$，其中$(X^{T}X)$是奇异矩阵的时候，怎么处理？所以引出了正则化的概念。
$$X=\left[\begin{array}{cccc}1& x_1^{(1)}& ...& x_n^{(1)}\\ 1& x_1^{(2)}& ...& x_n^{(2)}\\ ...& ...& ...& ...\\ 1& x_1^{(N)}& ...& x_n^{(N)}\end{array}\right]=\left[\begin{array}{c}{x^{(1)}}^T\\ {x^{(2)}}^T\\ ...\\ {x^{(N)}}^T\end{array}\right]$$
$$\theta =\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ ...\\ {\theta }_n\end{array}\right],Y=\left[\begin{array}{c}{y}^{(1)}\\ y^{(2)}\\ ...\\ y^{(N)}\end{array}\right]$$
$$X\theta =\hat{y},J(\theta )=\frac{1}{2N}||X\theta -Y|{|}_2^2,\frac{\partial J(\theta )}{\partial \theta }=0$$
$$\theta =(X^{T}X{)}^{-1}{X}^{T}Y$$
当出现不可求逆时，出现下面方法：

1.1 岭回归（Ridge Regression）

$$J(\theta )=\frac{1}{2N}||X\theta -Y|{|}_2^2+\frac{1}{2}\lambda ||\theta |{|}_2^2,||\theta |{|}_2^2={\theta }_1^2+{\theta }_2^2+....+{\theta }_n^2$$
$\lambda$很大时，模型注重求取$\theta$平方和最小。
在之前求梯度下降的公式中，我们有${\theta }_j={\theta }_j-\alpha (\frac{1}{N}{\sum }_{i=1}^N(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)})$作为更行公式，在这里我们的更新公式变为：
$${\theta }_j={\theta }_j-\alpha (\frac{1}{N}\sum _{i=1}^N(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}+\lambda {\theta }_j)$$
$${\theta }_j=(1-\frac{\alpha \lambda }{N}){\theta }_j-\alpha (\frac{1}{N}\sum _{i=1}^N(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)})$$
每次更新都在使$\theta$缩放。
解析表达式中，我们得到：
$$\theta =(X^{T}X+\lambda I{)}^{-1}{X}^{T}Y$$
式中$I$是一个$n+1\times n+1$的单位矩阵，对于${\theta }_0$不需要惩罚项来控制，所以，在单位矩阵的第一行对应0.加上之后，很多奇异矩阵变为非奇异矩阵，于是可以求逆。

1.2 LASSO(Least Absolute Shrinkage and Selection Operator)

可以删选特征，做特征选择。同时让更多$\theta$变为0。可以等价为：
$$mi{n}_{\theta }||\theta |{|}_0,s.t.X\theta =Y$$
因为0范数不是凸函数，无法做优化，所以我们改求1范数，同时可以较好的模拟0范数。
等价为：
$$minJ(\theta )=\frac{1}{2N}||X\theta -Y|{|}_2^2+\sum _{i=1}^N\lambda |\theta |$$
选择了不重要的特征，减少了模型的复杂度。在LASSSO的优化过程中，在某些点上不可导，梯度下降的方法明显不可以使用。
LASSO优化方法：

• Coordinate Descent
  随机不断的在$\theta$不同维度上进行搜索，搜索梯度最大的。
• Forward Selection
  在某个方向上找个合适的值，再从第二个纬度上寻找最优的参数。
• Forward Strategies
  不断的进行方向的比较，比较损失函数，确定方向。
• Least Angle Regression(LARS)
  寻找角分线，从而确定一个方向的值后，便有同样大小的缩放系数。