代价函数

 

首先我们运用一个例子来说明正则化的思想：

还是以房价为例，如果假设函数是一个二次函数，我们会觉得拟合的很好。但如果我们用高次函数区完美拟合训练集，会出现我们上次提到的过拟合问题。在这里我们将θ3.4的系数（也叫惩罚项）设为1000（很大的一个数），那么为了使代价函数的值最小，我们只能让θ3.4趋近于0，这样假设函数也就和一个二次函数差不多，如下面的红线。

这就是正则化的思想，我们没有舍去一个影响因素，只是让相应的参数θ趋近于0.

正则化的代价函数发生了变化：在线性回归的代价函数后面增加正则项用来使θ变小，为正则化参数

。

正则化之后的假设函数会变得更加光滑符合实际，相当于将次了。

加入正则项以避免过拟合，即在保持高阶的情况下依旧可以有很好的泛化特性。

正则化参数不能太大，太大会导致θ1.2.3...都趋近于0，这样得到的假设函数是一条的直线，没有任何意义，这是一中欠拟合的状态。