图像去模糊（2）——Multispectral Image Out-of-Focus Deblurring Using Interchannel Correlation（TIP 2015）

Abstract

在多光谱图像系统中，当相机焦距集中在一个特别的图像通道时，失焦模糊会经常发生。由于镜头的有效焦距取决于不同的波长，因此各个通道的图像模糊程度是不同的。本文基于通道间的关系(ICC)，提出了一种多光谱图像去模糊架构来恢复失焦光谱图像。ICC是基于这样一个事实，一个高维颜色光谱可以被相当少量的固有光谱线性表示。 在我们的方法中，光谱图像通过模糊计算被分为失焦数据集和对准焦距的图像数据集。对于每个失焦图像，从对准焦距的图像中导出一个指导图像，在去模糊框架中用来作为图像先验。失焦模糊被建模为高斯点扩散函数，进一步用作模糊先验。图像去模糊框架中的正则化参数是使用广义交叉验证确定的，因此所提出的方法不需要任何参数调整。实验结果表明，该方法在多光谱去模糊上有最好的结果。

Introduction

传统的RGB相机仅仅考虑三个波段来简要表征真实世界的场景，因此会损失光谱细节。相反的，一个多光谱图像系统可以捕获一系列离散的光谱响应，并保证忠实的频谱采集的强大能力。今天，多光谱图像被广泛的应用在场景模拟，数字归档，光谱颜色度量等。为了获取高质量的光谱图像，大量的研究例如高分图像，图像去噪最近些年进行的很多。

多光谱图像是在两个空间维，一个光谱维形成的。因此它可以用一个数据块来表示。受当前可用的2D探测器阵列的限制，两种范例用于构建多光谱成像的架构。 在第一范例中，获取沿着光谱维度的立方的时间顺序2D切片。 在该设置中，给出空间区域并且以不同波长顺序捕获光谱图像。 在第二范例中，使用沿着行（或列）维度的光谱仪获取光谱测量流，其因此形成光谱空间阵列。通过沿剩余的空间维度扫描来构建数据立方体。这两种提到的范例都是扫描技术。近几十年来，还开发了快照架构以同时捕获光谱和空间信息。根据本工作中使用的多光谱成像系统，下面简要介绍第一范例中的系统体系结构。

通常采用光学滤波器或电子可调谐滤波器来获取不同波长的多光谱图像。覆盖400至700nm可见光谱的带通滤光器安装在旋转轮上
通过将滤光器定位在相机前面来顺序捕获多光谱图像。或者，多光谱成像系统也可以使用电子可调谐滤波器，如液晶可调谐滤波器（LCTF）和声光可调谐滤波器（AOTF）。这些过滤器没有机械移动组件，可以通过计算机轻松控制。LCTF的主要限制是其在400nm附近的短波长下的透射率非常低。对于AOTF，准直照明的要求也对通用成像施加了限制。

近年来也引入了基于非滤波器的多光谱成像系统。 例如，多重多色LED照明，连续将光投射到物体表面，用于获取多光谱图像。 在另一个原型系统中，遮挡掩模用于对入射光进行采样，并且还使用三角形棱镜将光分散到不同的光谱中。

我们的成像系统，其结构如图1所示，使用光学滤波器来获取多光谱图像。该系统由单色数码相机和安装有L = 16光学窄带滤波器的滤光轮组成。这些滤波器的半高宽（FWHM）为10 nm，中心波长为400,420 ,.。 ，700纳米。请注意，为了便于说明，我们仅在图1中显示了8个滤波器。在多光谱图像中产生色差的几何失真需要在该架构下的成像系统中进行补偿。 几何变形是由滤波器安装在滤光轮上时的倾斜引起的。 最近，已经提出了几何失真的数学模型以消除色彩偏差。

除了几何失真之外，失焦模糊是多光谱成像系统中的另一个重要问题。该问题是由各个通道的不同有效焦距引起的，这是由于透镜的折射率与波长有关。图2展示了三个示例通道的焦距变化。 当镜头在波长为560 nm的参考通道上聚焦良好时，我们将无法在波长为420 nm和700 nm的通道中获得清晰的图像。
为了解决这个问题，已经提出了一种使用可控步进电机计算透镜焦点位置的自动聚焦方法。 该方法的局限在于，尽管采用了有效的算法，但自动聚焦过程仍然是耗时的。

当多光谱成像系统被固定时，尤其是在所有通道处具有固定焦距时，可以通过首先使用特定校准图案估计模糊核然后采用单图像去卷积方法来进行去模糊处理。然而，当捕获需要变焦距的室外场景时，基于校准的方法不再适用，因为模糊内核的估计应该时时进行。在这种情况下，只取决于捕获的场景的去模糊方法更方便和有利。

本文提出了一种多光谱图像离焦去模糊框架，该框架完全基于捕获的场景，而不使用额外的机械组件或校准模式。 假设成像系统很好地聚焦在参考通道上。其他通道的清晰图像获得是使用提出的方法。 在下文中，我们回顾了关于图像去模糊的相关工作，然后概述了所提出的方法。

Realted Work

图像去模糊是图像处理中的基本问题。 通过使用单个图像或多个图像，已经在文献中提出了许多图像去模糊方法。单图像去模糊是一个病态的问题，需要正规化才能使其适当。 虽然不同的先验可能导致不同的正则化形式，但是图像去模糊可以在最大后验（MAP）估计的框架中统一：
其中f表示潜像（或图像的特征，例如梯度），g表示模糊图像（或相应的特征），h是模糊核。 两个参数λ和η分别在图像先验φ1（f）和核先验φ2（h）之前对图像进行加权。式中第一项测量数据保真度。 虽然MAP框架倾向于支持无模糊解释，即Delta内核和输入模糊图像作为其解决方案，但通过对图像的导数使用适当的先验，可以可靠地恢复退化图像。在文献【Blind deconvolution using a normalized sparsity measure， CVPR 2011】中，采用归一化稀疏度量来形成图像先验。与传统的L1稀疏正则化不同，该度量通过图像梯度的L2范数（即L1 / L2）对稀疏度进行归一化，其被宣布为模糊地表现为模糊。最近的一项工作使用L0正则化来表征显着图像结构的非自然稀疏表示，并为均匀和非均匀运动去模糊提供了统一的框架。然而，当成像对象没有显着边缘或不是自然场景时，这两种方法将失效。 另一方面，模糊核先验可用于估计点扩散函数 (PSF)。假设运动模糊是线性的，并且失焦模糊是盘状的。 通过拟合分别考虑自然图像光谱和模糊频率响应的适当函数来识别这两个模糊核的参数。获得核后，使用Richardson-Lucy（RL）解卷积对图像进行去模糊。除了MAP之外，最近在单幅图像去模糊中使用了边际似然。 假设图像导数是稀疏的，这些方法在使用高斯混合（MOG）模型之前表示稀疏图像。模糊核和图像的联合分布可以在数学上表达，因此可以导出所有潜像的边际似然。该方法的计算是非常重要的，并且采用交替优化方案来近似边际似然。

多图像去模糊方法使用两个或多个图像来恢复退化图像，其中多通道去卷积是文献中最关注的范围之一。在【Least squares restoration of multichannel images， TSP 1991】中开发了多通道最小二乘恢复滤波器，用于非盲多通道反卷积。 【A general framework for frequency domain multi-channel signal processing TIP 1993】中介绍了频域多信道信号处理的一般框架。当获取的图像属于同一场景并且仅在模糊核心方面不同时，可以使用L1正则化优化来有效地解决盲多通道去卷积。在【Multichannel image deconvolution by total variation regularization， SPIE 1997】中，总变差（TV）正则化应用于图像和模糊核，并且在一般盲多通道反卷积中报告了初步结果。 重量的参数TV正规化是根据经验设定的。 与上述技术不同，潜影也可以借助于同一场景的模糊/噪声图像对来计算【Image deblurring with
blurred/noisy image pairs， ACM Trans. Graph 2007】。

盲多光谱图像去模糊也属于多图像去模糊类别，与上述多通道去卷积完全不同。 多光谱成像系统获取不同光谱带下的场景图像，因此，各个通道的基础场景图像在物理上是不同的。 尽管可以使用单图像去模糊方法单独恢复每个离焦图像，但结果远非令人满意，特别是对于非自然的场景

Outlines of This Work

在本文中，所有光谱图像都通过预处理进行对齐。 相机在波长为560 nm的参考通道上很好地聚焦。 因此，相对于参考信道计算其他信道的模糊性。利用计算的模糊度，可以容易地将捕获的光谱图像