【深度学习笔记】图像处理领域中的不适定问题（ill-posed problem）或称为反问题（inverse Problem）

转载自图像处理中不适定问题（ill posed problem）或称为反问题（inverse Problem）

摘要

图像处理中不适定问题（ill posed problem）或称为反问题（inverse Problem）的研究从20世纪末成为国际上的热点问题，成为现代数学家、计算机视觉和图像处理学者广为关注的研究领域。数学和物理上的反问题的研究由来已久，法国数学家阿达马早在19世纪就提出了不适定问题的概念:称一个数学物理定解问题的解存在、唯一并且稳定的则称该问题是适定的（WellPosed）。如果不满足适定性概念中的上述判据中的一条或几条，称该问题是不适定的。

典型的图像处理不适定问题包括：图像去噪（ImageDe-nosing），图像恢复（Image Restorsion），图像放大（Image Zooming），图像修补（ImageInpainting），图像去马赛克（image Demosaicing），图像超分辨(Image super-resolution)等。

迄今为止，人们已经提出许多方法来解决图像处理中的不适定性。但是如何进一步刻画图像的边缘、纹理和角形等图像中重要视觉几何结构，提高该类方法在噪声抑制基础上有效保持结构和纹理能力是有待深入研究的问题。

1 不适定图像处理问题的国内外研究现状评述

由于图像处理中的反问题往往是不适定的。解决不适定性的有效途径是在图像处理中引入关于图像的先验信息。因此图像的先验模型对于图像反问题和其它计算机视觉还是图像处理问题至关重要。对于图像的先验模型的研究，研究者们从多个角度进行研究，其代表主要有“统计方法”和“正则化几何建模方法”，“稀疏表示方法”三种主流方法，而最近兴起的图像形态分量分析（MCA）方法吸引了大批国内外研究者的广泛关注。

1.1 正则化几何模型日新月异

关于自然图像建模的“正则化几何方法”是最近几年热点讨论的主题。其中一类方法是利用偏微分方程理论建立图像处理模型，目前的发展趋势是从有选择性非线性扩散的角度设计各类低阶、高阶或者低阶与高阶综合的偏微分方程,或者从实扩散向复扩散推广,从空域向空频域相结合以及不同奇异性结构的综合处理[1]。另一类方法是基于能量泛函最优的变分方法。

1992年，Rudin-Osher-Fatemi提出图像能被分解为一个属于有界变差空间的分量和一个属于 的分量 的全变差模型[2]。根据国际上及本人的研究表明：ROF模型模型较好地刻画了图像中视觉重要边缘结构，但不能描述纹理信息。2001年Meyer提出了振荡模式分解理论[2]：他认为振荡分量可以表示为某个向量函数的散度形式，而振荡分量可以属于3个可能的函数空间。首先引入有界变差(boundedvariational , BV)空间的一个近似对偶空间来表征图像的振荡分量；Meyer进一步指出John-Nirenberg的有界均值振荡空间和齐性Besov空间都是振荡分量比较合适的函数空间，由此导出了将图像分解的（BV,G）模型,（BV,F）模型和（BV,E）模型。Meyer从理论上基本解决了振荡分量的理论框架，成为纹理等振荡模式分解的奠基性工作，但是原始模型比较难计算。

后来的学者大都在Meyer工作的基础上展开工作。Vese-Osher提出将振荡分量建模为的向量场的散度来逼近（BV,G）模型[3]，实质上是将G空间近似为负Soblev空间[4]。L.Lieu和L.Vese进一步推广到分数阶负Soblev空间[5]。Aujol,Chamboll等人定义了G-空间中的一个子空间，并根据Chamboll早期提出的ROF模型的投影算法的基础上，提出图像的振荡分量是在该子空间上的投影分量，由此提出了著名的BV空间半范+ G空间范数 + L2 范数约束优化的A2BC模型及子空间投影算法 [6-7]。J.B.Garnet，T.M.Le,Y.Meyer,L.A.Vese提出更一般的齐性Besov空间 来刻画振荡分量 [8]。

最近，.Aujol,A.Chamboll分别对TV范数、G范数、F范数、E范数，L 2范数对图像的卡通图像、纹理分量、高斯噪声进行数理统计和相关性分析，提出了分别运用TV范数、G范数和E范数分别来约束图像的卡通分量、纹理分量和噪声分量的三分量图像分解模型[9]。2007年，G.Gilboa和S.Osher受提出了非局部化G-空间的概念，并概括性的初步提出了非局部ROF模型、非局部Meyer模型、非局部ROF+L1模型[10]，从理论上提供了图像先验模型研究的新思路。但综合目前研究来看，变分方法的主要不足是对于纹理和噪声的刻画还不够精细。

1.2 稀疏表示方兴未艾

图像的稀疏表示问题最早源于“有效编码假说”。Attneave最先提出：视觉感知的目标就是产生一个外部输入信号的有效表示。在神经生物学领域Barlow基于信息论提出了“有效编码假设”，认为初级视皮层神经细胞的主要功能就是去除输入刺激的统计相关性[11]。“有效编码假设”被提出以后，很多研究人员根据它的思想提出了不同的理论。主要思路分为两大类。直接方法是机理测试方法，即从生物机理上，在自然图像刺激条件下检测神经细胞的响应特性。著名的工作如：2001年在《Nature》上发表的研究结果表明，在冗余性测度和自然刺激条件下一组视网膜神经节对外界刺激独立编码[12]；2000年在《Science》上发表了类似的成果[13]：通过记录短尾猿V1 区神经细胞在开放的自然场景和模拟自然场景条件下的神经细胞响应，验证了视皮层（V1区）神经细胞用稀疏编码有效表示自然场景，稀疏编码用最小冗余度传递信息。另外一个替代的方法是模型仿真方法，即利用自然图像的统计特性，建立模型模拟早期视觉处理系统的处理机制。例如Olshausen和 Field[14]提出了稀疏编码模型，稀疏编码理论表明，通过寻找自然图像的稀疏编码表示，该神经网络可以学习得到类似于简单细胞感受野的结构。Bell提出了基于信息最大化的无监督算法，通过度量“因子”的联合信息熵并且使之最大化，扩展了独立成分分析（ICA）方法，成功地构建有效编码模型并得到了与上面类似的结果[15]。Hyvarinen更进一步，应用一个两层的稀疏编码模型构造出类似于复杂细胞响应特性的基函数，而且基函数集合形成一个有规律的拓扑结构[16]。这部分表明有效编码假设也可适用于视觉系统高级区域神经细胞的处理过程。

目前关于图像稀疏表示系统的研究大体上沿着两条主线展开。其中一条是沿着多尺度几何分析理论。研究者认为图像的非平稳性和非高斯性，很难用线性算法进行处理，而应该建立合适的能够处理边缘到纹理各层面几何结构的图像模型；二维图像中的性状奇异性边缘和3-D图像中丝状物(filaments) 和管状物(tubes)几何特征不能被各向同性的“方块基”（如小波基）表示，而最优或者“最稀疏”的函数表示方法应该由各向异性的“锲形基”表征。因此以Ridgelet、Curvelet、Bandlet,Contourlet变换为代表的多尺度几何分析[16-22]理论成为图像稀疏表示的有效途径。图2.1.1(a)给出了二维可分离小波在不同分辨率下逼近曲线的过程，随着分辨率升高，尺度变细，最终表现为使用众多的“点”来逼近曲线。与小波相比，contourlet不仅具有小波的多分辨率特性和时频局部化特性，还具有很好的方向性和各向异性，即在尺度j时，小波基的支撑域边长近似为，而Contourlet的在该尺度下的基函数支撑域的纵横比可以任意选择。图2.1.1(b)为用Contourlet基函数的支撑域来逼近曲线的过程，由于它的基函数的支撑域表现为“长方形”，因而是一种更为有效稀疏的表示法。与二维可分离小波基函数的方向支撑域的各向同性不同，Contourlet基的“长方形”支撑域表现出来的是各向异性(anisotropy)的特点。上述稀疏表示方法都是采用“单一基”，另外一条图像稀疏表示的途径是：基函数被称之为原子库的过完备的冗余系统取代。Mallat和Zhang于1993年首先提出了信号在过完备库(over-completedictionary)上分解的思想[23]。通过信号在过完备库上的分解,用来表示信号的基可自适应地根据信号本身的特点灵活选取以得到信号非常稀疏的表示.后来人们提出了诸如基追踪算法、匹配追踪算法（MP）、正交匹配追踪算法（OMP）、混合匹配追踪算法（HMP）及许多变种。涉及的原子包括多尺度Gabor函数，各向异性的精细原子，小波和正弦函数的级联[24-15]等，并通过训练方法获得结构和纹理分量稀疏表示字典[26-28]。目前图像稀疏表示的研究也引起国内众多研究者的关注。中科院杨谦、汪云九等人，中科院计算所史忠植研究员，西安电子科技大学的焦李成教授、华南理工大学谢胜利教授，西南交通大学尹忠科教授等，南京理工大学韦志辉教授，肖亮博士等纷纷展开了稀疏表示的相关问题的研究。

目前图像稀疏表示的研究成为近3年国内众多研究者关注的热点问题，根据<<中国期刊全文数据库>>的检索来看，在2004年之前几乎没有相关报道，而从2004年1月至2008年2月，中国期刊发表的图像稀疏表示与多尺度几和分析应用方面的论文达到187篇,其中关于Ridgelet56篇，关于Contourlet 63篇，关于 Curvelet34篇，关于过完备稀疏表示34篇。西安电子科技大学的焦李成教授、华南理工大学谢胜利教授，西安交通大学尹忠科教授、国防科技大学王正明、教授及课题组成员等纷纷展开了基于稀疏表示的相关应用问题的研究[29-33]。本文作者在基于多尺度几何分析的图像增强、去噪、融合、边缘检测、感知压缩和数字水印等展开了相关应用研究，研究结果表明，基于稀疏表示的形态分量分解理论能够很好的捕获图像的几何特征，在图像建模和处理方面具有先天优势。但是综观国内的这些研究还与国外原创性成果具有很大差距。特别在稀疏表示字典的构造、高效稀疏分解算法、稀疏性重建等层面均有大量工作可做。

1.3 形态分量分析暂露头角

MCA方法是国际著名学者J.-L. Starck, M. Elad, D.L. Donoho在2004年提出的一种将图像分解为“几何结构”、“纹理”、“噪声”的形态分量分解方法[34]。该方法与混叠信号盲分离在本质上近乎相同，和独立分量分析（ICA）具有紧密联系。在MCA提出之前，图像分解的研究如火如荼。主要包括“基于稀疏表示的图像分解”和“基于变分方法的图像分解”。MCA方法较好的结合了变分方法和稀疏表示方法两类图像分解的优点，为不适定图像处理问题提供了良好的处理机制。首先从关于图像形态分量分解的变分方法来看，国际上研究的研究朝着对图像结构和纹理等形态成分刻画更精细、计算更简单的方向发展。图像分解的（BV,G）模型,（BV,F）模型和（BV,E）模型在本质上就是一种形态分量分析方法。

与基于变分方法的图像分解处理思路不同，J.L.Stack,M.Elad和D.L.Donoho的MCA框架中，一个重要的假设是图像的几何结构和纹理分量在某个特定的基库或过完备子字典下是类内稀疏的，而各形态分量稀疏表示的基库或过完备子字典之间具有不相干性。通过关于结构分量和纹理分量的分类稀疏表示稀疏的强稀疏性（l0范数或l1范数度量）达到图像形态分量的有效分离。由于目前所涉及的稀疏表示系统有三类：正交系统（如DCT,DWT）；冗余系统（如Curvelet,Contoulet）；过完备字典（如AR-Gauss混合字典）。随着稀疏表示理论的发展，通过不同的分类稀疏表示字典、稀疏性度量和正则化方法，可以导出不同的图像形态分量分析算法[35]。之后学者们对MCA中形态成分稀疏性和多样性[36]、自适应投影阈值选取[37]等问题作了研究，并推广到多通道情形[38]。

1.4 统计模型经久不衰

关于自然图像“统计建模方法”的研究由来已久。早期的研究工作，很大程度上受DavidField在20世纪80年代中期的一个重要发现所推动：自然图像的滤波器响应总是呈现出较大的峰度的统计性质[39]。经典小波分析之所以在信号和图像处理中取得重大成功，一个比较重要的因素是对小波变换域统计模型的研究取得重大进展，主要包括小波域的MRF模型，小波域隐马尔科夫模型和分层隐马尔科夫模型等。随着多尺度几何分析的兴起，人们对于Ridgelet、Curvelet、Bandlet,Contourlet变换域的统计模型相当关注。事实上，稀疏表示系数的直方图的峰度要远远大于3，呈现明显的非高斯性，这表明非高斯性蕴含图像的本质特性。例如，对Cameraman图像的Contourlet系数进行分析。观察上面的分布可以发现，Contourlet系数呈现明显的重尾分布。考察直方图的峰度(Kurtosis)经计算，峰度值远远大于典型的高斯分布Kurtosis值（大约为3）。许多单变量先验模型比如广义高斯模型、学生t-distribution模型已经被成功地用于自然图像的小波系数的这种非高斯统计特性。最近，学者们开始关注自然图像滤波器响应的联合统计行为。ZhuS.C较为全面的论述了自然图像视觉模式的四种主流的统计研究方法，并从信号的稀疏表示出发论述了包括多个Markov随机场模型及其变种[40]。焦李成等比较研究了多尺度变换域包括隐马尔科夫树（HMT）、背景隐马尔科夫模型（CHMM）等在内的10种统计模型[41]。基于形态分量分析的图像超分辨重建理论与算法 超分辨率重建(super-resolution reconstruction)是一种由一序列低分辨率退化图像重建一幅(或序列)高分辨率清晰图像的第二代复原技术[1]。超分辨率重建技术综合考虑成像过程中诸如运动变形、光学模糊、低采样率、随机噪声等等各种退化因素，在航空成像、遥感成像、医学成像、层析成像等众多领域具有广泛应用前景。从数学的角度看，图像超分辨率重建是Hardmard意义下的非适定数学反问题，因此成为图像处理、计算机视觉和计算调和分析等多学科领域国际上众多研究者关注的热点问题。

迄今为止，人们已经提出图像超分辨率重建的许多算法。但是如何进一步刻画图像的边缘结构、纹理等图像中重要视觉特征，提高图像超分辨算法对图像不同视觉特征的保持能力，解决超分辨问题的不适定性有待深入研究。图像超分辨是包含图像去噪、去模糊、去马赛克、图像放大等的组合问题，图像形态分量分析（MCA-Morphological Component Analysis）通过结合图像的稀疏表示（Sparcerepresentation）理论和变分方法进行图像分解，在图像超分辨应用中具有潜在优势：1）MCA通过分类稀疏表示字典将图像分解为“几何结构分量”、“振荡或纹理分量”、“噪声分量”，提供了良好的图像结构、纹理自适应处理和噪声分离机制；2）MCA继承了过完备稀疏表示与信号重建的优异性能，能够以最少的原子捕获图像中的高维奇异性特征。而这种捕获和跟踪机制是旋转、平移和伸缩不变的，因此对于超分辨重建的运动变形、光学模糊，低采样率的处理非常方便；3）MCA在稀疏表示的基础上，继承了图像几何正则化变分方法的优点，理论上为图像超分辨提供统一的变分框架。因此MCA理论为图像超分辨率复原提供了新的契机和研究思路。基于上述学术思想，本项目旨在通过不同基函数系统或过完备字典对图像形态分量的统计不相干性和稀疏性的研究，建立符合类内强稀疏而类间强不相干的几何结构和纹理分量稀疏表示子字典，提出更广义MCA框架下的稀疏性度量、非局部结构正则化和噪声先验度量模型，并在凸分析和稳健统计学思想下，提出MCA框架下联合处理图像放大、去噪、去模糊、去马赛克效应的超分辨重建模型，通过子空间投影和迭代收缩方法提出超分辨率重建的多步迭代算法。本项目对于推动超分辩重建、图像理解、稀疏表示理论等发展都有重要意义。

1.2 国内外研究现状及分析

MCA方法是国际著名学者J.-L. Starck, M. Elad, D.L. Donoho在2004年提出的一种将图像分解为“几何结构”、“振荡或纹理”、“噪声”的多形态分量分解方法[2-4]。该方法与混叠信号盲分离在本质上近乎相同，与独立分量分析（ICA）之间的紧密联系。之后这些学者对MCA中形态成分稀疏性和多样性[5]、自适应投影阈值选取[6]等问题作了研究，并推广到多通道情形[7]。在MCA提出之前，关于图像分解的研究如火如荼。主要包括“基于稀疏表示的图像分解”和“基于变分方法的图像分解”。MCA方法较好的结合了变分方法和稀疏表示方法两类图像分量分解的优点，为图像超分辨等图像处理问题提供了良好的处理机制。首先从关于图像形态成分分解的变分方法来看，国际上研究的研究朝着对图像结构和纹理等形态成分刻画更精细、计算更简单的方向发展。1992年，Rudin-Osher-Fatemi提出含噪图像能分解为一个属于有界变差空间 的结构分量和一个属于 的噪声分量的全变差模型[8]。根据国际上的研究表明：ROF模型模型较好地刻画了图像中的边缘结构，但不能描述纹理信息。2001年Meyer提出了振荡模式分解理论[2]：他认为纹理等振荡分量可以属于3个可能的函数空间，分别是（BV,G）空间、有界均值振荡空间（BV,F）和齐性Besov（BV,E）空间。由此导出了图像分解的（BV,G）模型,（BV,F）模型和（BV,E）模型。Meyer理论上基本解决了振荡分量建模的理论框架，成为纹理等振荡模式分解的奠基性工作，但是原始模型比较难计算。后来的学者大都在Meyer工作的基础上展开。Vese-Osher提出将振荡分量建模为的向量场的散度来逼近（BV,G）模型[9]，实质上是将空间近似为负Soblev空间。L.Lieu和L.Vese进一步推广到分数阶负Soblev空间[10]。Aujol,Chamboll等人定义了G-空间中的一个子空间 ，提出了著名的BV空间半范 + 空间范数 + L2范数约束优化模型及子空间投影算法 [11-12]。J.B.Garnet等提出更一般的齐性Besov空间 来刻画振荡分量[13]。最近，J.Aujol, A.Chamboll分别对TV范数、G范数、F范数、E范数，L 2范数对图像的结构、纹理和噪声进行数理统计和相关性分析，提出了分别运用TV范数、G范数和E范数联合约束优化的三分量图像分解模型[14]。2007年，G.Gilboa和S.Osher受提出了非局部化G-空间的概念，并概括性的提出了非局部ROF模型、非局部Meyer模型、非局部ROF+L1模型[15]，进一步从理论上提供了图像形态分量分解的新思路。但是综合目前研究来看，变分方法的主要不足是对于纹理和噪声的刻画还不够精细。其次从于图像分解的稀疏表示方法来看，大体上沿两条主线展开。其一是采取“固定基”：由于二维图像中的性状奇异性边缘和3-D图像中丝状物(filaments)和管状物(tubes)几何特征不能被各向同性的“方块基”（如小波基）表示，而“最稀疏”的函数表示方法应该由各向异性的“锲形基”表征（如Ridgelet、Curvelet、Bandlet,Contourlet[16-17]）；而纹理分量可以较好的由局部DCT、Gabor框架等表征。其二是：“固定基”被基于过完备字典（(over-completedictionary)的稀疏表示系统取代，提出了诸如基追踪、匹配追踪、正交匹配追踪、混合匹配追踪及许多算法。涉及的字典包括多尺度Gabor函数，各向异性的精细原子，Grassmannian框架，小波和正弦函数的级联[18-19]等，并通过训练方法获得结构和纹理分量稀疏表示字典[20-22]。随着多尺度方向分析和过完备字典稀疏表示理论的发展，关于稀疏成分分析和压缩感知（Compressive Sensing）理论[23]等的研究近几年引起国内众多研究者的关注，目前研究表明基于稀疏表示的分解方法能明显提高混叠信号和图像形态成分的分离精度。

近3年图像稀疏表示也成为国内众多研究者关注的热点问题，根据<<中国期刊全文数据库>>的检索来看，在2004年之前几乎没有相关报道，而从2004年1月至2008年2月，中国期刊发表的图像稀疏表示与多尺度几和分析应用方面的论文达到187篇,其中关于Ridgelet56篇，关于Contourlet 63篇，关于 Curvelet34篇，关于过完备稀疏表示34篇。焦李成教授、谢胜利教授，尹忠科教授、王正明教授及课题组成员等纷纷展开了基于稀疏表示的相关应用问题的研究[28-32]。申请者及其合作者在基于多尺度几何分析的图像增强、去噪、融合、边缘检测、感知压缩和数字水印等展开了相关应用研究，研究表明：基于稀疏表示的形态分量分解理论能够很好的捕获图像的几何特征，在图像建模和处理方面具有先天优势。但是综观国内的这些研究还与国外原创性成果具有很大差距。特别在稀疏表示字典的构造、高效稀疏分解算法、信号稀疏性度量与重建机理等层面均有大量工作可做。在图像超分辨方面，自1984年，Tsai和Huang首先提出一种基于Fourier变换域的多幅卫星图像SR重建算法以后，图像超分辨重建算法层出不穷，IEEE多篇综述文章从不同角度对超分辨率复原技术作了回顾与展望[1-2],经典算法包括：迭代反投影(IBP)法、凸集投影(POCS)法、最大似然(ML)/最大后验概率(MAP)估计法和混合ML/MAP/POCS法，基于样本的学习方法.进几年，随着图像处理中的稀疏表示和变分PDE深入研究，为解决超分辨重建的不适定性提供了一条有效途径，出现了一系列新方法。例如Farsiu等人[34]提出基于双边滤波思想和l1范数耦合的超分辨率复原算法。将稀疏表示与变分PDE相结合解决超分辨率复原问题的代表性工作是J.Stack,L.Donoho提出的联合变分方法的图像分解，并将其应用到图像去噪、图像修补中[23,26]。国内对于图像超分辨率复原的研究主要工作有，张新明等人[35]基于Huber-MRF图像先验模型，提出一种基于多尺度边缘保持正则化的MAP超分辨率复原算法；孟庆武[36]基于Gaussian-MRF图像先验模型,提出一种联合估计帧间位移和高分辨率图像的预估计混叠度MAP超分辨率处理算法.国防科技大学王正明、郁文贤教授等展开了基于过完备原子库稀疏分解的雷达成像超分辨率研究[31-32]，已取得初步研究成果。边缘保持的正则化图像超分辨重建也受到国内研究者的关注[37-38]。申请者及其课题组成员近几年来对基于变分PDE的图像处理作了有益探索，包括：在黎曼几何的框架下提出了向量值图像推广的Mumford-Shah模型；基于PCA方法的“上下文几何特征”的稳健性边缘方向估计，超分辨率复原的非线性方向扩散算法，取得了很好的效果。课题组成员最近利用基于广义Huber-MRF图像先验模型、几何结构驱动PDE展开图像恢复、单幅图像放大和多幅图像超分辨等问题展开了卓有成效的研究（参见申请者及成员发表论文）。

1.3亟待解决的科学问题

尽管，当今图像联合“变分方法”和“稀疏表示方法”的MCA在图像处理等方面的研究在不断深入，但应用于图像超分辨率重建尚存在着理论和算法上具有挑战性的问题，主要在于：
◇如何建立不同基库或过完备字典对图像形态分量的稀疏性先验度量，选择在类内强稀疏、而类间强不相干的形态分量稀疏表示字典？

◇如何建立具有上下文结构的正则化几何先验和噪声模型，提高超分辨重建中噪声抑制和边缘结构保持能力？

◇如何有效地结合“变分方法”和“稀疏表示”方法的几何结构捕获能力，设计更为高效的超分辨率重建的约束优化模型？

◇如何针对MCA框架的约束优化超分辨重建模型，设计快速、稳定和收敛的实用算法？

目前，人们已经对MCA方法解决图像处理问题的挑战性有了一定的认识，已经在这方面作了初步理论和应用研究，但是这些研究还有待深入。因此本项目将从上述四点挑战性问题出发，展开相关研究，有望在这些方面取得突破性进展。