weixin_42677507的博客

前面的博文主要是介绍了BGNET的论文思路以及特征提取模块，今天总体总体介绍一下BGNET_PLUS的总体网络结构，整个网络可以具体分成六个部分：特征提取+3D stackhourglass+组相关性计算+引导图生成+双边网格插值+视差优化，结合他论文里那张非常宽泛的图来看就是如下图所示:下面给出每个部分的网络结构：特征提取&引导图生成：3D stackhourglass：视差优化：我写了一个小脚本统计了上面每个模块的参数占比：...

知识准备这部分主要是一个理解HITNET的前期知识准备，不了解一下的话可能看起来比较生涩，个人觉得加上这部分知识之后再看待HITNET这篇文章逻辑上会更为流畅一些。1.HITNET的灵感本质上来自于传统的双目匹配方法Patch Match，patch作为一个块，其比单个像素所包含的信息更多，核心要素是对一个图像区域中的所有切块进行重复搜索，以获得另一个图像区域中最相似的切块。这种算法的流程一般包括随机场初始化、propagation、后处理等基本步骤。2.在Patch Match的问题中有个无法回

理论准备Bilateral Grid Learning for Stereo Matching Networks论文内容解读请参看“论文阅读笔记：Bilateral Grid Learning for Stereo Matching Networks”特征提取模块视差预测模块网络结构class BGNet(SubModule): def __init__(self): super(BGNet, self).__init__() self.softmax =

摘要立体匹配网络的实时性能对于许多应用都很重要，例如自动驾驶、机器人导航和增强现实 (AR)。尽管近年来立体匹配网络取得了重大进展，但平衡实时性能和准确性仍然具有挑战性。在本文中，我们提出了一种有效的边缘保留的匹配代价卷上采样模块，它是基于可学习的双边网格中的切片操作。切片层是无参数的，在可学习引导图的作用下，这使我们能够从低分辨率的特征图获得高质量的匹配代价卷。我们提出的成本量上采样模块可以无缝嵌入到许多现有的立体匹配网络中，例如 GCNet、PSMNet 和 GANet。这些网络可因此被加速，同时保持