tikhonov正则化 matlab_4 L1和l2正则化详解（花书7.1 参数范数惩罚）

7.1 参数范数惩罚

许多正则化方法通过对目标函数

添加一个

参数范数惩罚

，限制模型（如神经网络、线性回归和逻辑回归）的学习能力。将正则化后的目标函数记为：

其中

是权衡范数惩罚项

和标准目标函数

相对贡献的超参数。

在神经网络中，参数包括每一层仿射变换的权重和偏置，我们通常只对权重做惩罚而不对偏置做正则惩罚。

• 精确拟合偏置所需的数据通常比拟合权重少得多
• 每个权重会指定两个变量如何相互作用。而每个偏置仅控制一个单变量。这意味着不对偏置进行正则化也不会导致太大的方差
• 正则化偏置参数可能会导致明显的欠拟合。

因此，我们使用向量

表示所有应受范数惩罚的权重，而

表示所有参数（包括

和无须正则化的参数）。

7.1.1

参数正则化

权重衰减（weight decay）：

参数范数惩罚。向目标函数添加一个正则项

，使权重更加接近原点。在其他学术圈，

又被称为岭回归或Tikhonov正则。

通过研究正则化后目标函数的梯度，洞察一些权重衰减的正则化表现。

对应梯度为：

使用单步梯度下降更新权重，即执行以下更新：

换种写法：

我们可以看到，加入权重衰减后会引起学习规则的修改，即在每步执行通常的梯度更新之前先收缩 权重向量（将权重向量乘以一个常数因子

）。这是单个步骤发生的变化。在训练的整个过程会发生什么呢？

1.

未正则化的目标函数最小训练误差时的权重向量

令

为

未正则化的目标函数取得最小训练误差时的权重向量，即

并在

的领域对

未正则化的目标函数做二次近似 ^[1]。如果目标函数确实是二次的（如以均方误差拟合线性回归模型的情况），则该近似是完美的。近似的

如下：