正则化方法

原文地址：正则化方法作者：caodanping
一个问题如果其解存在、唯一并且连续的依赖于数据，就称该问题是适定的(well-posed)，否则称为不适定的(ill-posed)。不适定问题通常是由一组线性代数方程定义的，而且这组方程组通常来源于有着很大的条件数的不适定反问题，大条件数意味着舍入误差或其它误差会严重地影响问题的结果。
一个不适定问题通常是病态的，并且不论是简单地还是复杂地改变问题本身的形式都不会显著地改善病态问题。另一方面，病态问题不一定是不适定的，因为通过改变问题的形式往往可以改善病态问题。
在严格的数学意义上，我们通常不可能对不适定问题进行求解并得到准确解答。
然而通过使用先验知识，我们通常有希望能够得到一个接近准确解答的答案！
求解不适定问题的普遍方法是:
用一族与原不适定问题相“邻近”的适定问题的解去逼近原问题的解,这种方法称为正则化方法。
（从而，如何构造“邻近问题”而获得所谓的正则算子和正则解，如何控制与原问题的“邻近程度”而决定与原始资料的误差水平相匹配的正则参数）。也把求数学物理反问题的稳定近似解的方法称为正则化方法(regularization)。
如何建立有效的正则化方法是反问题领域中不适定问题研究的重要内容。通常的正则化方法有基于变分原理的Tikhonov正则化、各种迭代方法以及其它的一些改进方法,这些方法都是求解不适定问题的有效方法,在各类反问题的研究中被广泛采用,并得到深入研究。（百度百科）
反问题的研究与不适定问题的研究是密切相关的。基于实际问题的推动，20世纪60年代中期，前苏联院士Tikhonov提出了处理不适定问题的正则化方法，从此反问题和不适定问题的研究进入了新的阶段。
一种较为有效的数值方法就是在求解过程中结合某些解的已知信息对解进行限制，当将解的2-范数最小作为附加条件加入到原问题中，可以将问题转化为：
[转载]正则化方法
λ为正则化参数，控制着残差的范数与附加条件之间的权重，λ的选择是否恰当在正则化问题中起着非常重要的作用。
当L=I时，为最基本的Tikhonov正则化，这时得到的是最小能量（长度）解估计；
当L为平缓度矩阵时，得到的是最光滑解估计。（适用于离散的模型参数）；
当L为粗糙度矩阵，在一阶导数离散化的基础上再做差值，得到的是最平滑解估计。
简单写两句，还是有空多看看书吧！《反问题的数值解法》、《反演问题的计算方法及其应用》……