ML笔记（3）线性回归的正则化

先举一个多项式回归的例子，当我们使用多项式回归的时候，如果没有对多项式的系数进行限制，拟合的模型过拟合的概率极高，所以我们需要通过一些方法限制多项式系数的变化。以下的正则化改进从损失函数，减少过拟合概率。

1 正则化概念

简单来说，正则化是一种为了减小测试误差的行为(有时候会增加训练误差)。我们在构造机器学习模型时，最终目的是让模型在面对新数据的时候，可以有很好的表现（即增加模型的泛化能力）。当你用比较复杂的模型比如神经网络，去拟合数据时，很容易出现过拟合现象(训练集表现很好，测试集表现较差)，这会导致模型的泛化能力下降，这时候，我们就需要使用正则化，降低模型的复杂度。

2 正则化的类型

这块我只是简单的从其他资料进行了解，以后有待完善。

• L1正则化通过让原目标函数加上了所有特征系数绝对值的和来实现正则化
• L2正则化通过让原目标函数加上了所有特征系数的平方和来实现正则化

L1常用于特征选择如上学期的lasso回归，在存在多重共线性的特征里选择；L2常用于防止模型过拟合，其中岭回归是一个例子

3 线性回归的正则化
正则化的思想就是减少高次项$\theta$的值，使得曲线平滑，因此，在线性回归算法中的代价函数可以如下表示：
$$J(\theta )=\frac{1}{2m}\left[\sum _{i=1}^m{\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)}^2+\lambda \sum _{j=1}^n{\theta }_j^2\right]$$
以上公式中，$\lambda$表示正则化参数，在算法实际运行过程中，要选择合适的$\lambda$值，不能使其过大，否则可能会导致过拟合不能被消除，或者梯度下降算法不收敛。

• 梯度下降算法中的正则化

Repeat
{
θ 0 : = θ 0 − α 1 m ∑ i =