【吴恩达机器学习】正则化

1.过拟合的问题

详见已发的博客：’'过拟合与欠拟合"

泛化：一个假设模型应用到新样本的能力

2.代价函数

通过在代价函数中增加惩罚项来防止过拟合：

其中λ又称为正则化参数（Regularization Parameter）。

经过正则化处理的模型与原模型的可能对比如下图所示：

如果选择的正则化参数λ 过大，则会把所有的参数(不包括θ_0)都最小化了(趋于0)，导致模型变成h(x)=θ_0，图中红色直线所示的情况，造成欠拟合。

对于正则化，我们要取一个合理的 𝜆 值。

3.线性回归的正则化

正则化线性回归的代价函数为：

1)梯度下降法：

对上面的算法中𝑗 = 1,2, . . . , 𝑛 时的更新式子进行调整可得：

正则化线性回归的梯度下降算法的变化在于：每次都在原有算法更新规则的基础上令𝜃值减少了一个额外的值。

2)正规方程法：

4.逻辑回归的正则化

正则化逻辑回归的代价函数为：

最小化该代价函数，通过求导，得出梯度下降算法为：

注意：

1.虽然正则化的逻辑回归中的梯度下降和正则化的线性回归中的表达式看起来一样，但由于两者的ℎ_𝜃(𝑥)不同，所以还是有很大差别。

2.𝜃_0不参与其中的任何一个正则化