无监督深度图像缝合:重建缝合特征到图像

传统的基于特征的图像拼接技术严重依赖特征检测质量,往往无法对特征少或分辨率低的图像进行拼接。由于缺乏标记数据,基于学习的图像拼接解决方案很少被研究,使得有监督的方法不可靠。针对上述局限性,我们提出了一种无监督深度图像拼接框架,该框架由两个阶段组成:无监督粗图像对齐和无监督图像重建。在第一阶段,我们设计了一种基于烧蚀的损失来约束无监督单应网络,该网络更适合于大基线场景。此外,还引入了变压器层,使输入图像在缝合域空间中发生翘曲。在第二阶段,考虑到在特征层面上可以在一定程度上消除像素级的偏移,我们设计了一个无监督图像重建网络来消除从特征到像素的伪影。具体来说,重构网络可以通过低分辨率变形分支和高分辨率精细化分支实现,学习图像拼接的变形规则,同时提高分辨率。

图1 无监督深度图像拼接示意图。左边:无监督粗图像对齐阶段。右边:无监督图像重建阶段

  1. 无监督粗图像对齐

        基于消融的策略来约束大基线无监督单应估计(large baseline deep homography)

        解决当基线过大时,可能会导致输入patch之间没有重叠区域,从而导致这些patch对单应性的估计没有意义的问题。

       拼接域变压器层(stitching-domain transformer layer)

       将拼接域定义为拼接图像的最小边界矩形,在保证图像内容完整性的同时节省了最大的空间。

    2. 无监督图像重建

       低分辨率分支

       将扭曲的图像向下采样到一个低分辨率,定义为256×256。然后利用由3个池化层和3个反卷积层组成的编解码器网络对拼接后的图像进行重建。卷积层的滤波数分别设置为64、64、128、128、256、256、512、512、256、256、128、128、64、64、3。此外,采用跳跃连接将具有相同分辨率的低级和高级特征连接起来。在这个过程中,图像拼接的变形规则学习自内容掩膜和缝掩膜。内容掩膜采用约束重构图像的特征接近扭曲的图像,而缝掩膜是为了限制的边缘重叠的领域是自然的和连续的。

       高分辨率分支

       高分辨率分支的设计是为了改善缝合图像,该分支完全由卷积层组成,这意味着它可以处理任意分辨率的图片。具体来说,它由3个独立的卷积层和8个resblocks组成,除最后一层为3外,每一层的滤波数设置为64。为了防止低层次信息随着卷积网络的深入而逐渐被遗忘,我们在卷积网络的倒数第二层中加入了第一层的特征。每个resblock由convolution、relu、convolution、sum和relu组成。

 

 

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值