卫星图像超分辨率全面介绍

在这篇文章中，我们旨在通过超分辨率方法在卫星成像中的应用来概述超分辨率方法。我们通过引用与我们团队成员合作撰写的已发表论文（[1]、[2]）来说明或提供不同类型的超分辨率方法的示例。这里我们提供了介绍性信息，我们计划在后续文章中进一步深入介绍。

什么是超分辨率？

超分辨率是一种先进的图像处理技术，用于增强图像的分辨率，使其更清晰、更详细。它的工作原理是重建或预测原始低分辨率图像中可能不明确存在的更精细的细节。

Sentinel-2 原始卫星图像细节图（顶部）与超分辨率输出（2 倍）的对比图（底部）[1]。

超分辨率为何如此重要？

超分辨率对于卫星图像尤其重要，因为它可以提高从太空捕获的数据的质量和实用性。卫星在环境监测、城市规划、国防和灾难响应等领域发挥着至关重要的作用，但由于物理、技术和财务方面的限制，它们在分辨率方面可能面临固有的限制。超分辨率解决了这些限制，使卫星图像在广泛的应用中更有价值。

关于细节、分辨率、采样和混叠的提醒

光学衍射、采样理论和混叠是理解卫星图像超分辨率的基础。每个概念都可以单独写一篇文章来介绍。对于已经熟悉这些概念的读者，本节可以作为简要提醒。对于不熟悉这些概念的读者，我们提供了基本介绍和优质资源的链接，以防他们想要更详细地了解。

为了形成卫星图像，来自场景的光线会穿过光学系统。该系统可以包括望远镜、镜头、干涉仪、滤光片和/或其他元件。穿过光学系统的光线到达具有一定数量像素的传感器，这些像素的大小是确定的。此时，对每个像素的光强度进行采样，将表示场景的信号离散化并形成数字图像。

卫星的光学系统已经确定了到达传感器的最精细细节。一种常用的指定方法是使用调制传递函数 (MTF)。MTF 是对比度与频率的函数。通俗地说，它显示了在通过光学系统后，您是否可以区分精细细节，或者它们是否会模糊在一起（更精细的细节由更高的频率表示，并通过它们之间有足够的对比度来区分它们）。任何比 MTF 截止更精细的细节都会模糊在一起，无法恢复，只能推断。Edmund Optics 有一篇很好且易懂的文章，其中包含更多详细信息 [3]。

上图展示了成像系统 [4] 的调制传递函数 (MTF)（此图并非卫星，但所有概念都可直接转换为卫星系统）。图中绘制了物镜环形孔径的 MTF (MTFap)、CCD 采样的 MTF (MTFCCD) 和成像系统的总 MTF (MTFtotal = MTFap × MTFCCD)。奈奎斯特频率之后高于零的 MTF 值将转换为混叠光谱内容。MTF 达到零后，除了外推或归纳偏置之外，没有任何其他方法可以恢复更多的光谱内容。

MTF 决定了到达传感器的信号的最大频率，而这正是采样理论发挥作用的地方。如果以至少 2 倍最大信号频率进行采样，则可以从离散样本中完全恢复连续信号 [5]。然而，这并不常见，因为它会产生非常模糊的图像，并且需要较小的像素。常见的做法是以截止于 MTF 对比度 ~15% 或以上的速率进行采样。这会产生更清晰的图像，并且噪音更少（因为使用了更大的像素），但也会引入混叠。混叠在图像中可以看作是由于采样不足而产生的虚假不良效果 [6]。在频域中，它可以解释为高于采样截止频率的频率被折回到信号中并添加到低于截止频率的其他频率中。

空间域中混叠的图示；绿点表示采样数据；虚线是混叠信号 [7]。