5、正则化（Regularization）问题

目前为止，我学到了线性回归和逻辑回归，当用他们来解决实际问题的时候，会出现一些问题，比如说过拟合和欠拟合的问题。如何理解？看一个例子

这个就是我们所熟悉的线性回归的例子，图一用线去拟合数据点，看出来明显好多点和直线有较大的偏差，这个是欠拟合；图三每个点都在曲线上了，这就有点过拟合；中间的图为正正好好！
加入出现了这种问题，我们可以用正则化去解决。
前面的例子我们可以看出，就是X的次数高所引起的过拟合问题，那么如果说让高次项的系数接近于0的话，那么就可以很好的拟合了。

我们需要对后面两项的参数做一个惩罚，将其纳入代价函数之中，

这样一最小化之后，θ3和θ4的值就会很小了。
假如说我们不知道有哪些参数需要惩罚，那么就对所有的特征进行惩罚。

如果选择的正则化参数 λ 过大，则会把所有的参数都最小化了，导致模型变成

这个时候就成为了欠拟合。所以说对于正则化，我们需要选取一个适当的参数λ

（1）正则化线性回归

此时我们的代价函数是这个东西。应用梯度下降法：

（2）正则化逻辑回归

同样应用梯度下降法：

接下来几天，我将学习一个更加牛逼的算法，那就是神经网络，号称可以秒杀一切，期待。。。。