吴恩达机器Deeplearning.ai课程学习记录：正则化

目录

正则化 Regularization

简单一点——就在代价函数中正则化其中几项

经常情况——在代价函数中正则化所有项

总结

---

在上一章学习了正则化的基本概念，在这一小节我们将致力于将算法应用于修改成本函数，从而使其能够真正使用正则化。

正则化 Regularization

视频中作者有很长一段引入，我直接跳过，直接引入公式。

简单一点——就在代价函数中正则化其中几项

假设你有一个多维度的拟合函数，你希望将其中的x3，x4正则化，二者的系数分别为w3，w4。

那么你的代价函数是这样的：

这个代价函数我觉得还挺难理解的，后来我理解为，代价函数越大，那么对拟合函数参数的惩罚也就越大，那么加上了w3，w4，且前面的系数为1000，就大大提高了w3，w4对于代价函数的影响，显而易见的是，代价函数最终将逐渐减小，因此为了减小代价函数，那么必然会大大减小w3，w4，从而实现了正则化，即x3，x4前的系数很小甚至接近于0，最终降低了这两项对于拟合的影响。

但现实情况是，我们经常会遇到很多的维度，并且我们也并不知道哪一项的特征对于结果会有更大的影响，因此通常会对所有维度都进行正则化。

经常情况——在代价函数中正则化所有项

代价函数就是这样：

右边的一项累加就是把所有的维度的系数都加入了代价函数，这一个整项称作正则化项。其中的称为正则化参数（就类似于上面公式中的1000）,你需要根据情况选取并调整它的值。

另外，我们一般不在代价函数之中加入b，其对于拟合几乎没有影响，即使加了，一般也没啥影响

总结

因此，

如果我们希望减少正则化的影响，那么可以将设置得很小(这样容易出现过拟合)

如果我们希望增加正则化的影响，那么可以将设置得很大(这样容易出现欠拟合)，最终的拟合曲线就会接近与一条平行与x周的直线y=b

具体例子可以看下图：

其中蓝色的线为很小，红色的线为很大。