传统Tikhonov(L2)正则化逼近公式推导

此篇文章主要针对Tikhonov正则化初学者了解Tikhonov泛函是怎样给出的以及解的推导。

Tikhonov正则化

首先我们先给出Tikhonov正则化方法
我们在学习研究反问题和正则化的文章时，往往会直接给出如上定理，但Tikhonov泛函和解的给出并没有作过多解释，因此，接下来的内容主要是推导和理解以上内容。

正则化

我们在解决如Ax=y的线性算子方程时，通常采用经典的最小二乘法估计，但是这种方法会导致过拟合或者产生方程的欠定解。解决过拟合的一种方法就是正则化方法。

1. 最小二乘法 ：最小二乘法的原则是以“残差平方和最小”确定直线位置。
2. 过拟合 ：过度拟合的问题通常发生在变量过多的时候。这种情况下训练出的方程总是能很好的拟合训练数据。但是，这样的曲线千方百计的去拟合训练数据，导致它无法泛化（模型能够应用到新样本的能力）到新的数据样本中，以至于无法预测新样本。
3. 惩罚项：所谓『惩罚』是指对损失函数中的某些参数做一些限制。引入正则化项之后，会提高抗干扰能力，提高泛化能力。