tikhonov正则化 matlab_机器学习中的各种范数与正则化

机器学习中的各种范数与正则化

对于统计机器学习算法一般为缓解过拟合现象的发生需要在进行正则化操作,通过正则化以偏差的增加换取方差的减小，因此优秀的正则化操作即是在保证方差较小的情况下，偏差尽可能的小。有关偏差与方差的介绍可以参考我的这篇笔记

PoderLee：Bias - Variance Dilemma(偏差-方差窘境)​zhuanlan.zhihu.com

最常见的方法即为在损失函数中引入矩阵范数，以对模型的复杂程度做出惩罚，即模型的权值参数（一般不考虑惩罚偏置，这主要是因为惩罚偏置首先不会有明显效果，其次惩罚偏置可能会造成模型欠拟合），其目标函数一般如下式所示：

上式中，第一项即为经验风险，第二项即为正则化项。其中

，为调整两者之间关系的系数。当

时，则表示无正则化项，

越大则表示对应正则化惩罚越大。

• 
  范数正则化

这里我们假设模型的偏置参数均为0，则参数

即为

，因此其目标函数为：

对上式求其梯度有：

使用梯度下降法更新权重

，则

将向负梯度方向收敛，如下：

从中可以看出每次权值

更新时都将乘以

，该常数因子小于0，即权重将会逐渐收缩，趋近于0。

进一步地，这里令

（将

简记为

）,即

为损失函数

取得最小训练误差的权值。并在

的邻域对损失函数

做二次近似（泰勒展开）,记为

，如下：

上式中

为

在

处计算的Hessian矩阵，且该矩阵为半正定矩阵。由上述知，

为损失函数的最优解，因