【论文学习笔记-16】立体匹配:360SD-net

【论文学习笔记-16】立体匹配:360SD-net

本文利用两张360°摄像机获得的球形图片进行立体匹配,与双目立体匹配相同的,需要解决的问题是在两张图片上获取对应点的位置差,之后通过几何原理获取该点在现实世界的深度

在这里插入图片描述

关键难点在于3D相机获得的图片在2D和3D世界的几何性质并不相同,如3D世界投影到2D后可能发生严重的畸变。这里作者采用立刻上下位置的相机对,以保证极线的重合。

同时靠近同时靠近顶部和底部的直线比在“赤道线”附近的图像会产生较多的畸变,这意味着需要针对球形图片设计与双目不同的立体匹配方法。

Contribution

①第一个端到端的360°图片的深度估计网络
②在已有方法的基础上作出了一系列改进,以解决畸变问题,包括级角的使用。
③提出了新颖的filter来获取costvolume,比以往的在球面投影进行像素级平移的filter效果更好
④贡献了360图片立体数据集。
⑤用上述的方法,利用消费级3D相机产生现实环境(3D点云?)

RelatedWork

3D摄像机的廉价获得了CV界的注意,相关工作包括:在球形图像频率域上进行处理做图片分类;使用特殊的球形卷积处理360°图像;使用360°视觉进行布局重构等。

Method

深度计算公式:在已知两图对应点的前提下

在这里插入图片描述

使用CNN获取对应点,其中关键的改进步骤包括:为了解决畸变问题,在Feature Extraction前为输出增加了Polar Angle通道,同时为Polar Angle通道进行Feature Extraction,并进行Concatenation。这里没有提前将RGB与Polar angle共同作为输入提取特征(Early Fusion)而是在Feature Extraction后进行Concatenation(Late Fusion Design) 从而分离Geometry information 和 RGB appearance information

在这里插入图片描述

由于该任务包含了全景图片,在不同位置需要提取多个尺度的信息,因此采用空洞空间卷积池化金字塔(Aspp)在特征提取之后,提高感受域,同时采用随机剪裁来减少存储消耗:

在这里插入图片描述

在CostVolume区域,直接采用GCNet和PSMNet的CostVolume策略来构建3D costvolume包括实现定义Maxdisparity和stepsize等参数,这里stepsize指的是GCnet/GAnet等文章中的直接将可能相同的点的feature直接concatenate作为CostVolume,在矩阵操作上是将两个矩阵不断平移再合并,每次平移的步长就是stepsize,如下图所示:
在这里插入图片描述

这里作者设计了新颖的Learnable cost volume,学习stepsize(在这里作者称其为度数单位degree unit),这里通过一个7*1的卷积层进行学习,同时为了采用了Channel wise shifting来防止各通道混合。

前50个Epoch采用传统的固定步长进行训练,然后采用learnable costvolume shifting。

这里作者采用改了堆叠沙漏网络Stacked hourglass作为Encoder Decoder,采用了GCnet的视差回归法,用Smooth_L1作为Loss Function

整体结构如图
在这里插入图片描述

Experiment

在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值