线性回归的正则化

 

正则化之后我们的代价函数增加了正则项发生了变化：

相应了我们的梯度下降算法也有了一点变化，由于惩罚项只对θ1.2.3...起作用，所以我们分离出θ0。并且由于增加了正则项，所以梯度下降过程也增加了一点尾巴（求偏导数的结果发生了一点变化）如下图：

化简之后你会发现，发生的变化就是没进行一次迭代，θ的值就会缩小你点点。

 

同理我们在使用正规方程求解的结果公式也发生了变化：

增加了一个对角线矩阵，这是由于求偏导数令其为0，通过数学推导得出的，并且增加的矩阵，也会使前面的一部分一定可逆，不会发生之前的不可逆的情况。