使用卫星图像和部分道路地图进行道路提取TGRS2024.03

本文提出了基于卫星图像和部分道路地图进行完整道路提取的思路。然后，我们提出了一个两分支的部分到完全网络(P2CNet)，它有两个突出的组成部分:门控自注意模块(GSAM)和缺失部分(MP)损失。GSAM是利用通道的自关注模块。MP损失给予部分道路图中不存在的道路像素更多的关注。

利用部分路线图和影像主要有三种可能的选择。

1输出融合：先对影像道路提取，将后期特征与部分道路地图融合再处理。使用这种方法，部分路线图提供的信号将有点太晚了，因为它没有为从卫星数据中提取道路的任务提供指导。

2输入融合：将二者融合，输入到现有的道路提取方法中。然而，这倾向于在部分道路地图中保留道路，但不能有效地提取那些缺失的道路，因为部分道路地图是地面实况的一部分，即提取特征的能力会减弱。

3功能融合：各自提取特征，然后从融合的特征中生成路线图。这种方法可以避免前两个选项的问题，即来自部分路线图的信号来得足够早，并且不会直接影响卫星特征的提取。

本文设计了一种特征融合方法P2CNet，卫星图像和部分路线图双分支网络。我们开发的GSAM可以更好地利用和融合编码器输出的功能。还引入了缺失部分（MP）损失，通过更多地关注部分道路地图中缺失的道路像素来进一步利用部分道路地图。另外没有提示的路线图也略高于现有其他网络。

（GSAM安装在partial分支中。在partial编码器中还安装了四个gsam，在图中没有明确显示。MP损耗仅应用于卫星分支。）

首先，受双重自关注的启发，我们决定应用两种通道自关注来捕获卫星和部分分支特征的全局上下文。我们在本研究中只考虑渠道维度而不考虑空间注意，有两个原因：

1通道关注可以节省大量内存，其亲和矩阵形状为C × C，而空间关注的亲和矩阵形状为H W × H W。

2部分道路地图通常涉及少量道路像素，许多提取的特征图将接近全零矩阵，使得应用空间关注的用处不大。通过通道自关注，可以在每个通道突出显示各种语义，以提高特定语义的特征表示。

并采用门机制，以互补的方式进一步控制信息流。然后，我们将从部分分支生成的路线图作为输出，也就是说，我们将partial分支作为主分支。我们注意到，从没有卫星图像特征的部分道路地图生成完整道路地图的任务是不可行的(通过实验验证)，需要用从卫星图像中提取的特征来指导。

loss：

式中IMP为路线图的MP, IP为部分路线图，ΩMP为IMP的道路像素集，|·|为集合中元素的个数。MP损耗的基本原理是在进行反向传播时为丢失的道路像素分配更多的权重。注意，MP损耗对应于丢失的道路像素上的BCE损耗。我们没有将MP损失定义为缺失道路像素上的Dice损失，因为后者对小区域很敏感，使得训练过程不稳定。对于拥有1024*1024个像素的完整路线图来说，Dice损失是有效的，但是对于只占用少量像素的MP loss，例如几百个或更少的像素，Dice损失便不能有效地发挥作用。

最后，卫星支路LS的损耗、部分支路LP的损耗和总损耗Ltotal分别为:

只在卫星分支中纳入了MP损失：MP损失有助于对缺失的道路像素赋予更多的权重，从而正确地提取出来，但同时，它会降低其他像素的权重，包括partial分支中道路地图中靠近道路的像素，从而导致一些潜在的错误分类。例如，靠近道路的像素倾向于被分类为道路像素(因为它们对应于卫星图像中的道路)，但它们对应的标签是背景像素(因为只有道路中心线上的像素被标记为道路像素，其他像素被标记为背景像素)。通过仅在卫星分支中合并MP损失，我们实现了以下目标:1)在我们的目标上添加了一些额外的权重;2)避免了错误分类，因为它们只会发生在卫星分支中，而在partial分支中生成的路线图被作为输出。