【论文学习笔记-2】 高分辨率3D深度重建
背景介绍
应用场景广泛:桥,电缆etc
高分辨率图像的特点:像素多,potential disparity的范围很大(对应着计算量很大)
基于图像的重建时,图像中可能有纹理缺乏、表面倾斜、照明不足等情况,这会导致在这些区域出现重建失败或产生稀疏的视察预测问题。
深度学习方法比非学习方法在重建的表现上更好,但是会受到数据集和计算硬件的约束。
常规双目数据集的像素不超过1M pixels
减少存储需求的技术手段:Skip Connection ,Special Pooling,但是这些方法大都采用了极耗存储空间的成本聚合方法。即使最近的方法也不能很好的满足4K图片对的存储需求。
1000 disparity range 的SGM方法处理4K图片需要消耗50GB的CPU存储空间,SGBM方法可以在有限计算资源上处理4K视频对,但是鲁棒性不强,在很多例子上表现不好,如图
Bad case 分析:多个视察值的matching cost相近,不知道选哪个,所以也许缩小disparity range会有用。
作者还发现, 深度学习模型可以估计其视差预测的不确定性。不确定性可以在一定程度上代表视察搜索范围。