为什么正则化后，权重小的损失的更多，而权重大的则损失的少？

黑：过拟合怎么办?
白：加入正则项防止过拟合白：加入正则项防止过拟合
黑：什么是正则项？
白：就是在原来的损失函数加入惩罚项
比如原损失函数:

加入惩罚项之后损失函数：

黑：还是不明白为什么加入这个正则项后就会防止过拟合了呢？原理是啥呢？
白：引入正则项后，会使权重小的特征的权重损失的更多的，而对权重大的特征的权重相对来说损失的就少很多。（类似于马太效应）
黑：数学不好的我怎么也看不出来权重小的损失的多啊？不应该权重大的损失的多一些吗？

好，下面举个栗子吧！如果有两个特征x1，x2，对应的线性回归方程为

有两个样本（1，1，4.1），（2，1，6.2），因为这里讨论的是${\theta }_1$和${\theta }_2$在引入正则项之后的变化，而${\theta }_0$相当于常数，这里面，为了方便计算，把${\theta }_0$赋值为0，那么显然不加正则项时${\theta }_1$=2.1和${\theta }_2$=2分别是x1和x2的权重.
当我引入正则项之后


观察发现是二元二次函数，我们可以分别求出minJ($\theta$)最小的情况下的${\theta }_1$和${\theta }_2$
得出


${\theta }_1$和${\theta }_2$联立方程得


由此可看出当正则项系$\lambda$=0时即是原函数的${\theta }_1$=2.1和${\theta }_2$=2使得minJ($\theta$)最小。
当$\lambda$=1时，${\theta }_1$=1.685和${\theta }_2$=0.96.可以发现，${\theta }_2$下降了很多啊。为什么呢?因为加入正则项后要要考虑两项之和最小，${\theta }_1$承担使这项

尽量小的光荣使命，所以不能减小太多。所以只能牺牲权重较小的${\theta }_2$了。