Tikhonov正则化选取的方法

参考  Tikhonov正则化选取的方法 - 云+社区 - 腾讯云

最小二乘矩阵求解与正则化，最小二乘是最常用的线性参数估计方法，早在高斯的年代，就用开对平面上的点拟合线，对高维空间的点拟合超平面。

作为最小二乘代价函数的改进

式中 ℷ >0  则称为正则化参数 (regularization parameters)

代价函数关于变元 x 的共轭梯度

令

得到

使得替代协方差矩阵的直接求逆的方法常称为Tikhonov 正则化

在信号处理和图像处理中有时也称为松弛法(relaxation method)

Tikhonov 正则化的本质是通过对非满秩的矩阵A的协方差矩阵的每一个对角元素加入一个很小的扰动

使得奇异的协方差矩阵求逆变为非奇异矩阵的求逆，从而大大改善求解非满秩矩阵

 的数值稳定性 也就是降低cond条件数的大小。

增加的项对其施加一个惩罚，其得到的解比仅优化更切合实际

如果矩阵A是满秩矩阵，但存在误差或者噪声是，需要采用与上面相反的做法，就是对上面的协方差矩阵

加上以恶搞很小的扰动矩阵去干扰，类似于上面的公式

使分离噪声。

其实这两个公式可以合并，本身就带有符号属性，当取得正值的时候是对矩阵的约束，迫使原来的对角协方差元素减少，

取得负值的时候就是分离残差.取0的时候就是普通最小二乘。

参数是使得原始目标函数值尽可能小的同时保证不能太大，在二者取得一个很好的平衡。