深度学习与在遥感领域的应用 (综述+研究方向+相关期刊)

1. 图像融合 (Image Fusion)

1.1 图像锐化 (MS+PAN)

  将低分辨率多光谱(MS)图像与高分辨率全色(PAN)图像融合以获得高分辨MS图像。


  方向1：与遥感领域知识的结合。根据遥感图像的特点，可利用遥感领域大量现有的特定领域知识有针对性地对深度学习模型进一步改进。
  方向2：自监督的全色图像锐化方法。现有方法都是通过使用大量的根据Wald协议（Wald等，1997）所获得的模拟数据进行监督学习。然而，所获得的模型受限于监督学习中所使用的样本数据，不具备良好的泛化能力。自监督学习可以从未标记的数据中学习到有效的特征表示而无需人工标注的标签信息，这样使得自监督学习得到的模型不会受限于样本数据，具有良好的泛化性能。
  方向3：全色图像锐化标准数据集。当前研究中，训练数据集大多从现有几个卫星数据集中由研究者自主选取，不可避免地存在一定程度的主观性和局限性。
  方向4：轻量级全色图像锐化深度模型。研究者通常构建结构更为复杂的模型，从而造成全色图像锐化模型容量更大、训练时间更久，这限制了全色图像锐化深度模型在实际中的应用。

1.2 高光谱图像（HSI）和多光谱图像（MSI）融合

  将低分辨率高光谱(HSI)图像与高分辨率(MSI)图像融合以生成高分辨率HSI图像。
    +    =  
  方向1：交叉模态信息交互较少。大多数现有的基于变压器的HSI和MSI融合方法都是对单个模态进行特征提取，并在融合的最后阶段进行特征拼接。该方法忽略了空间模态与光谱模态之间的交叉模态信息交互，不利于融合任务的完成。
  方向2：模型优化。模型一直在不断创新迭代。

2. 图像配准 (Image Registration)

  图像配准是叠加两个或多个来自不同来源、在不同时间和角度拍摄的图像的过程。

  方向1：缺少大样本且开源的标准数据集。同源遥感影像易于获取，相关配准方法也较为成熟，易于构建小样本数据集，但构建大样本同源遥感影像数据集成本大。异源遥感影像获取、筛选难度大，虽然目前已有如SEN1-2、SARptical等高质量、开源的异源遥感影像数据集，但现有数据集也存在覆盖研究范围较窄等问题。
  方向2：难以应用于大范围遥感影像。
  方向3：模型优化。网络训练时间长，计算开销大。

3. 场景分类 (Scene Classification)

  方向1：大型数据集的开发。现有数据集的数量有限，导致使用预训练模型(通常来自ImageNet)进行迁移学习。然而，迁移学习可能并不总是最优的解决方案，因为预训练的模型可能不能完全适应目标领域的特定特征。
  方向2：Transformer模型的优化。基于Transformer的CNN架构具有捕获和良好保存本地和全局上下文信息的能力，在过去两年中，在遥感场景分类中取得了令人鼓舞的结果，并且识别率有所提高。因此，预计在这一领域将有更大程度的开发利用。
  方向3：Gan模型优化。在基于Gan的方法中探索不同的策略，为利用未标记的数据集提高遥感场景分类的准确性提供了机会。

4. 土地利用/覆盖分类（Land Use and Land Cover Classification, LULC）

  方向1：跨模态数据融合。因此我们的模型需要不断更新，以适应数据多样性带来的可变性。跨模态数据融合:随着深度学习方法在LULC分类领域的快速发展，遥感数据可能会根据不同的时间、不同的地区、不同的传感器、不同的气候等发生变化，融合遥感影像多模态(如纹理、光谱、时间等)的有效信息，并将其与深度学习模型相结合，以提高网络模型分类的准确性和鲁棒性。
  方向2：开发适配高分辨率数据的模型。未来遥感影像数据的分辨率将不断提高，这对LULC分类提出了更高的要求。因此，开发适应高分辨率数据的算法和模型，更准确地捕捉特征特征的细节和变化，是未来研究的重点之一。
  方向3：迁移学习和自适应学习。两者的结合可以解决由于领域差异导致的模型泛化能力较低的问题。

5. 目标检测 (Object Detection)

  目标检测的流水线大致可分为五个部分:(1)数据预处理，(2)特征提取与处理，(3)生成边界框，(4)检测并分类，(5)后处理。

  方向1：改善网络结构。目前，遥感探测器性能提升速度缓慢，表明现有方法已经达到极限，难以实现突破。因此，如何进一步提高该技术是需要解决的关键问题。
  方向2：改进轻量级模型。为了提取具有丰富信息表示的特征，网络大多采用极深结构设计，需要对大量参数进行优化。这增加了模型对数据的需求，同时增加了计算设施的负担。目前的低算法便携式嵌入式设备无法实现如此重的模型。如何减小现有模型的参数尺度以提高模型的实用性显得尤为重要。轻量化模型涉及到网络结构、优化方法等多方面的参与。
  方向3：改进弱监督学习。性能上的缺陷限制了弱监督学习的应用范围，因此这个方向很少被探索。标签的优点也拓宽了发展前景，检测能力的进一步利用是一个值得深入研究的课题。
  方向4：改进方向预测策略。方向是物体位置信息的本质表现之一，为实现准确的物体定位，已经建立了多种方向识别系统。然而，大多数这样的模型将方向设置在0-180◦的范围内，这没有考虑到方向。
  方向5：提高超分辨率检测。对于缺乏足够结构知识的弱目标检测，超分辨率重建技术可以有效扩大目标规模，提供额外的细节，提高识别效果。
  方向6：改进小目标问题。小目标检测一直是目标检测优先级。小目标——其像素占用小且特征难以提取，使其在前向传播过程中容易被遮挡。

6. 语义分割 (Semantic Segmentation)

  方向1：训练样本不足。高分辨率遥感图像需要手动标记像素，这是一项艰巨且劳动密集的工作。因此，样本不足的问题仍然存在。今后的工作可以在以下几个方面进行改进:(1)如何构建多角度、多色调等样本分析模型;(2)探索实现更有前景的性能的方法，很少使用精细标注或粗糙品牌，减少训练样本;(3)合并数据集，将不同的光学和SAR数据集组合在一起。鲁棒变压器模型可以用于多源RS数据，包括具有不同空间和光谱分辨率的航空和卫星图像。
  方向2：优化和改进语义分割模型。语义分割技术可以直接推动智慧城市、资源监控等领域的发展。这些任务对模型产生了更高的需求。(1)如何更好地为其高分辨率图像捕获更多差异化的特征和上下文信息。(2)如何设计无监督学习模型来提高高分辨率图像的性能，包括不需要大量标记数据的弱监督和半监督方法。(3)改变卷积模型中卷积的数量或类型。(4)如何在显式增强方法中取代边缘引导的上下文聚合方法，并使用更好的边缘提取器。
  方向3：降低计算复杂度，提高模型的鲁棒性。现有模型规模大、计算量大，阻碍了其广泛应用，因此提高模型的性能和质量是非常重要的。如何平衡语义分割的性能和计算能力是未来的研究方向。(1)构建更小模型尺寸和计算复杂度的实时语义分割模型。(2)设计一种更高效、简洁的特征提取方法。(3)减少延迟。
  方向4：研究更复杂的实际场景。许多实验只在特定的数据集上实现。因此，如何设计出适合实际复杂场景的新方法仍有待研究。
  方向5：小目标分割的研究。由于小目标的像素面积占比较小，多次降采样后会丢失一定的详细信息，从而在一定程度上导致精度下降。在未来，我们可以从小目标开始，通过残余连接、注意机制和金字塔结构等方法来提高精度。