吴恩达机器Deeplearning.ai课程学习记录：线性回归的正则化

线性回归的正则化

这是上一节中我们提出的线性回归的代价函数正则化，其中前面一部分是平方误差成本函数，后面一部分是是正则化项，其中是正则化系数，你希望通过找w，b从而最小化代价函数。

事实上，正则化线性回归的更新和一般线性回归的更新在形式上一模一样，除了现在的代价函数的定义不同（多了正则化项）：

经过化简，去除偏导，结果变为：

衍生——通过数学角度再次理解（非必要，可跳过）

将上面的小小地变个形：

我们只是简单地调换了顺序，可以看作有两项，前面一项更新了(乘以了个系数），

后面一项就可以理解为通常的梯度下降更新（和普通线性回归里面的一样）

我们把注意力放到前面一项，如果是一个很小的数，例如1，10，而n大于它，比如50，学习率是个0.001，那么就乘以了一个很接近于1的数（比如0.998)，因此从数学公式可以看出，正则化就是每次迭代的时候都给乘以了一个接近于1的数并对其进行了调整（具有收缩效果），这可以看作另一个角度去理解正则化为什么使得变小了一些。

逻辑回归的正则化

逻辑回归的正则化与先行回归几乎一致，只是f函数变成了sigmoid函数，这里不再赘述。