吴恩达机器学习（十八）线性回归、逻辑回归的正则化

1.线性回归的正则化

  对于线性回归，我们之前推导了两种算法，一种基于梯度下降，一种基于正规方程，接下来将这两种算法推广到正则化线性回归中去。正则化线性回归的优化目标，前面这部分是线性回归的一般目标，现在加上一个额外的正则化项，其中λ是正则化参数。

1.1梯度下降+正则化

  我们想找到一个参数θ来最小化正则化代价函数J(θ)。
  之前我们曾在没有正则化项的情况下使用梯度下降法去最小化最初的代价函数，我们会反复去更新参数θ_j的值(j=0、1、2、…、n)。

现在将j=0单独写出，也就是单独写出θ₀的更新，剩下的是j=1、2、…、n的更新。这样做的原因是：对于正则化线性回归，我们的惩罚对象是参数θ₁、θ₂、…、θ_n，没有惩罚θ₀。所以修改正则化线性回归的算法，在处理θ₀的时候会将它区别对待。

1.2正规方程+正则化

2.逻辑回归的正则化

逻辑回归会出现过拟合的情况，这时候逻辑回归代价函数为了使用正则化，我们需要做的是在后面加上一项，这一项的作用是惩罚参数θ₁、θ₂、…、θ_n，防止它们过大。

对于最初的梯度下降算法，以下是我们的更新式，使之成为正则化代价函数：

接下来学习如何在更高级的优化算法中使用正则化