【SARptical】The SARptical Dataset for Joint Analysis of SAR and Optical Image in Dense Urban Area译读笔记

The SARptical Dataset for Joint Analysis of SAR and Optical Image in Dense Urban Area

摘要

在密集城市区域中，对very高分辨率SAR和光学图像进行联合解译并非易事，因为这两种图像具有截然不同的成像几何特性。尤其是，由于侧视SAR成像几何导致的不可避免的叠掩现象，使得这一任务更加具有挑战性。直到最近，"SARptical"框架[1_InSAR]和[2_INSAR_FORENSICS]，提出了一个前景的解决方案来应对这一问题。SARptical通过严格的三维重建和匹配，可以在对应的高分辨率光学图像中追踪单个SAR散射点。本文介绍了SARptical数据集，该数据集包含了从 TerraSAR-X 高分辨率spotlight图像和UltraCAM航空光学图像中提取的超过10,000对相应的SAR和光学图像块。该数据集为多传感器数据分析开启了新的可能。研究者可以在SAR和光学图像域中分析被成像对象的几何、材质以及其他属性。更多高级的应用，例如通过深度学习[3_CNN_patches]进行SAR与光学图像匹配，现在也成为可能。

1. INTRODUCTION

随着对城市区域中高分辨率SAR数据关注度的不断提高，光学图像与SAR图像的融合在密集城市区域已成为一个新兴且及时的话题，因为这两种数据类型的互补性可以为我们带来前所未有的见解和发现，比如不同城市基础设施的独特散射机制。这种融合任务的基础是SAR和光学图像的配准（co-registration），而这一过程极具挑战性。这类融合任务的核心基础是极具挑战性的SAR 与光学图像配准，二者因成像几何原理存在本质差异，若缺乏成像场景的精确三维模型，几乎无法直接配准。直到最近，SAR和光学图像三维重建各自的发展才使得这一研究方向取得了突破。作为首次尝试，“SARptical”系统[1_InSAR]和[2_INSAR_FORENSICS]提出了一种promising的解决方案来应对这一具有挑战性的任务。
SARptical框架分别对从SAR和光学图像重建的三维模型进行共同配准（co-registers）。从而实现二维SAR与光学影像的匹配。SARptical可以在对应的高分辨率光学影像中追踪单个SAR散射点，并分析成像目标的几何结构、材质等属性。反之，也可以在SAR图像域中进行类似的研究。
本文的目标是介绍并共享基于SARptical框架生成的数据集。该数据集包含超过10,000对从 TerraSAR-X高分辨率聚束模式影像和航空UltraCAM光学影像中提取的对应SAR与光学影像块。图1展示了数据集中两组匹配的SAR和光学图像块示例。

左侧列是以dB表示其幅度的SAR图像块，右侧列是对应的光学图像块。

2. THE SARPTICAL FRAMEWORK

在密集城市区域，复杂地形会导致SAR影像中不可避免的叠掩和阴影效应。因此，SARptical框架的核心是在三维空间中实现SAR与光学图像的匹配。这一过程还需要该区域精确的数字高程模型（DEM）。在大多数情况下，这类 DEM 数据难以获取。为此，SARptical框架分别从SAR与光学图像中估计每个像素的三维位置。图2展示了SARptical的整体工作流程。
为了估算图像中各像素的三维位置，该算法需要干涉SAR影像栈以及至少一对光学图像。