目录
在上一章学习了正则化的基本概念,在这一小节我们将致力于将算法应用于修改成本函数,从而使其能够真正使用正则化。
正则化 Regularization
视频中作者有很长一段引入,我直接跳过,直接引入公式。
简单一点——就在代价函数中正则化其中几项
假设你有一个多维度的拟合函数,你希望将其中的x3,x4正则化,二者的系数分别为w3,w4。
那么你的代价函数是这样的:
这个代价函数我觉得还挺难理解的,后来我理解为,代价函数越大,那么对拟合函数参数的惩罚也就越大,那么加上了w3,w4,且前面的系数为1000,就大大提高了w3,w4对于代价函数的影响,显而易见的是,代价函数最终将逐渐减小,因此为了减小代价函数,那么必然会大大减小w3,w4,从而实现了正则化,即x3,x4前的系数很小甚至接近于0,最终降低了这两项对于拟合的影响。
但现实情况是,我们经常会遇到很多的维度,并且我们也并不知道哪一项的特征对于结果会有更大的影响,因此通常会对所有维度都进行正则化。
经常情况——在代价函数中正则化所有项
代价函数就是这样:
右边的一项累加就是把所有的维度的系数都加入了代价函数,这一个整项称作正则化项。其中的称为正则化参数(就类似于上面公式中的1000),你需要根据情况选取并调整它的值。
另外,我们一般不在代价函数之中加入b,其对于拟合几乎没有影响,即使加了,一般也没啥影响
总结
因此,
如果我们希望减少正则化的影响,那么可以将设置得很小(这样容易出现过拟合)
如果我们希望增加正则化的影响,那么可以将设置得很大(这样容易出现欠拟合),最终的拟合曲线就会接近与一条平行与x周的直线y=b
具体例子可以看下图:
其中蓝色的线为很小,红色的线为很大。