正则化（regularization）

转载地址：http://blog.csdn.net/xjbzju/article/details/6618064

正则化(regularization)在线性代数理论中，不适定问题通常是由一组线性代数方程定义的，而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。反问题有两种形式。最普遍的形式是已知系统和输出求输入，另一种系统未知的情况通常也被视为反问题。许多反问题很难被解决，但是其他反问题却很容易得到答案。显然，易于解决的问题不会比很难解决的问题更能引起人们的兴趣，我们直接解决它们就可以了。那些很难被解决的问题则被称为不适定的。一个不适定问题通常是病态的，并且不论是简单地还是复杂地改变问题本身的形式都不会显著地改善病态问题。另一方面，病态问题不一定是不适定的，因为通过改变问题的形式往往可以改善病态问题。在严格的数学意义上，我们通常不可能对不适定问题进行求解并得到准确解答。然而，通过使用我们的先验知识，我们通常有希望能够得到一个接近准确解答的答案。
　　求解不适定问题的普遍方法是:用一族与原不适定问题相“邻近”的适定问题的解去逼近原问题的解,这种方法称为正则化方法。如何建立有效的正则化方法是反问题领域中不适定问题研究的重要内容。通常的正则化方法有基于变分原理的Tikhonov 正则化、各种迭代方法以及其它的一些改进方法,这些方法都是求解不适定问题的有效方法,在各类反问题的研究中被广泛采用,并得到深入研究。
　　正则化:Normalization，代数几何中的一个概念。
　　通俗来说，就是给平面不可约代数曲线以某种形式的全纯参数表示。
　　即对于PC^2中的不可约代数曲线C，寻找一个紧Riemann面C*和一个全纯映射σ:C*→PC^2,使得σ(C*)=C
　　严格的定义如下:
　　设C是不可约平面代数曲线，S是C的奇点的集合。如果存在紧Riemann面C*及全纯映射σ:C*→PC^2,使得
　　(1) σ(C*)=C (2) σ^(-1)(S)是有限点集 (3) σ:C*\σ^(-1)(S)→C\S是一对一的映射
　　则称(C*,σ)为C的正则化。不至于混淆的时候，也可以称C*为C的正则化。
　　正则化的做法，实际上是在不可约平面代数曲线的奇点处，把具有不同切线的曲线分支分开，从而消除这种奇异性。[1]

正则化方法 Regularization Method
正则化算子 regularizing operator
物理学中，尤其是量子场论，正则化(regularization)是一项处理无限大、发散以及一些不合理表示式的方法，其方法透过引入一项辅助性的概念——正则化因子(regulator)。举例来说，若短距离物理效应出现发散，则设定一项空间中最小距离来解决这情形。正确的物理结果是让正则化因子消失(此例是) 的极限情形，不过正则化因子的用意就在于当它是有限值，理论结果也是有限值的。正则化是将数学中的发散级数的可和性方法(summability methods)用在物理学问题上。
然而，理论结果通常包含了一些项，是正比于例如的式子，若取极限则会没有良好定义。正则化是获得一个完整、有限且有意义的结果的第一步；在量子场论，通常会接着一个相关但是独立的技术方法称作重整化(renormalization)。重整化则是基于对一些有着类似表示式的物理量的要求，要求其应该等于观测值。如此的约束条件则允许我们计算一些看似发散的物理量的有限值

图像复原从数学角度考虑，它等价于第一类fredholm积分方程，是一种反问题，具有很大的病态性，因此，必须进行正则化处理。从统计的角度看，正则化处理其实就是一种图像的先验信息约束。假设图像退化过程用如下模型描述：
g=hf+n （1）
则图像复原即根据观测图像g恢复原始图像f。正则化图像复原从贝叶斯角度来说，可以用map(最大后验概率估计)方法实现，即：
f=argmax{p(f|g)＝p(g|f)p(f)/p(g)} （2）
先验分布函数 p(f)可以看成一正则化项。图像复原关键问题是先验模型p(f) 的选取，也可以说图像建模在图像复原中起者中心作用。早期的图像复原方法假设服从平稳高斯分布，从而导致约束最小二乘图像复原方法；但许多统计试验表明大部分自然图像都不能用平稳高斯分布准确的描述，模型的不准确导致复原的图像质量较差，图像边缘不能很好的保持。mrf (markov random field)在图像复原中起很重要的作用，如果将原始图像看作mrf的一次实现，根据mrf的局部性，可以用局部gmrf（gauss markov random field）对图像进行建模，按照这种方式建立的模型比用平稳高斯分布更为准确，因此所复原的质量也较好。现代很多人热衷于小波变换的图像复原，其原因是图像的小波系数可近似认为互相独立，且能够用简单的统计模型描述（如广义高斯分布等）。我认为小波在图像复原中主要起工具的作用，现在关于小波方法进行图像复原，研究重点应放在对小波系数的统计建模（如小波系数尺度间、尺度内、方向间的相关性等）。由于一般正交小波变换不具有平移不变性和方向较少的特点，基于这些不足，现在的发展是在其他变换域内建立模型，如（冗余小波变换，复小波变换，脊波，曲波等）这仍是一个正在发展的课题，关于对这些变换域系数进行统计建模用于图像复原能够弥补正交小波变换的不足，然而重点仍是对变换系数的统计建模。
正如我们如上所说，图像建模对图像复原起很重要的作用。然而，从计算复杂度的角度考虑，一个好的模型常导致计算上的困难。因为一个好的模型最终导致一个（2）式有多个极值点，从而在计算上必须用一些全局优化算法（如模拟退火等），这导致很大的计算量。
综上分析，图像复原需要两方面的知识需要考虑：1统计建模的知识2计算方法的知识。两者任一方面的改进，都会推动图像复原的发展。因此，必须懂得数理统计，贝叶斯分析，随机场，优化算法，矩阵论，小波分析等数学课程。

以下是基本相关的书

测量中不适定问题的正则化解法
作者： 王振杰
出版社： 科学出版社
出版日期： 2006-10
市场价： ￥36.0 
不适定问题的正则化解法在测量实践中得到了越来越广泛的应用。本书作者充分考虑测量实际，对测量中不适定问题的正则化解法进行了系统阐述和研究，并突出强调了正则化解法的物理意义。主要内容包括：GPS与Galil eo的系统分析、测量中不适定问题的统一表达、病态性分析及克服病态性的常用方法，克服病态性的改进算法、单频GPS快速定位中病态问题的新解法、半参数模型中正则化矩阵的选取方法、高精度GPS基线处理中系统误差的分离、适合变形监测的GPS单频单历元算法等。

不适定问题的正则化方法及应用
作者： 刘继军
出版社： 科学出版社
出版日期： 2005-09
市场价： ￥28.0 
本书以自封闭的形式系统介绍了线性不适定问题的正则化求解方法，以及在数学物理反问题研究中的一些应用。主要内容包括：不适定问题的基本概念和特点，研究不适定问题需要的基本数学工具和方法，求解不适定问题的标准的正则化方法及近年来的新发展，以及正则化方法在逆时热传导、数值微分、逆散射等领域中的应用。本书的内容包含了作者和其他学者近几年来的有关工作。

数学物理方程及其近似方法
作者： 程建春编
出版社： 科学出版社
出版日期： 2005-02
市场价： ￥58.0 

反问题的数值解法/计算方法丛书
作者： 肖庭延 于慎根 王彦飞著
出版社： 科学出版社
出版日期： 2005-01
市场价： ￥30.0 
本书系统介绍了数学物理反问题求解的正则化方法，主要包括适定与不适定问题的基本概念：反问题、不适定性及其与第一类算子方程的联系，基于算子广义逆理论的各种推广，几种提高正则解精度和计算效率的迭代正则化方法、离散正则化方法，各种正则化算法的数值实现，带有工程、物理与经济应用背景有启发性的实例，在附录中给出了最近的国内外研究成果和示范性MALAB语言源程序。