无监督深度图像缝合:重建缝合特征到图像

传统的基于特征的图像拼接技术严重依赖特征检测质量，往往无法对特征少或分辨率低的图像进行拼接。由于缺乏标记数据，基于学习的图像拼接解决方案很少被研究，使得有监督的方法不可靠。针对上述局限性，我们提出了一种无监督深度图像拼接框架，该框架由两个阶段组成:无监督粗图像对齐和无监督图像重建。在第一阶段，我们设计了一种基于烧蚀的损失来约束无监督单应网络，该网络更适合于大基线场景。此外，还引入了变压器层，使输入图像在缝合域空间中发生翘曲。在第二阶段，考虑到在特征层面上可以在一定程度上消除像素级的偏移，我们设计了一个无监督图像重建网络来消除从特征到像素的伪影。具体来说，重构网络可以通过低分辨率变形分支和高分辨率精细化分支实现，学习图像拼接的变形规则，同时提高分辨率。

图1 无监督深度图像拼接示意图。左边：无监督粗图像对齐阶段。右边：无监督图像重建阶段

1. 无监督粗图像对齐

        基于消融的策略来约束大基线无监督单应估计（large baseline deep homography）

        解决当基线过大时，可能会导致输入patch之间没有重叠区域，从而导致这些patch对单应性的估计没有意义的问题。

       拼接域变压器层（stitching-domain transformer layer）

       将拼接域定义为拼接图像的最小边界矩形，在保证图像内容完整性的同时节省了最大的空间。

    2. 无监督图像重建

       低分辨率分支

       将扭曲的图像向下采样到一个低分辨率，定义为256×256。然后利用由3个池化层和3个反卷积层组成的编解码器网络对拼接后的图像进行重建。卷积层的滤波数分别设置为64、64、128、128、256、256、512、512、256、256、128、128、64、64、3。此外，采用跳跃连接将具有相同分辨率的低级和高级特征连接起来。在这个过程中,图像拼接的变形规则学习自内容掩膜和缝掩膜。内容掩膜采用约束重构图像的特征接近扭曲的图像,而缝掩膜是为了限制的边缘重叠的领域是自然的和连续的。

       高分辨率分支

       高分辨率分支的设计是为了改善缝合图像，该分支完全由卷积层组成，这意味着它可以处理任意分辨率的图片。具体来说，它由3个独立的卷积层和8个resblocks组成，除最后一层为3外，每一层的滤波数设置为64。为了防止低层次信息随着卷积网络的深入而逐渐被遗忘，我们在卷积网络的倒数第二层中加入了第一层的特征。每个resblock由convolution、relu、convolution、sum和relu组成。