深度估计-双目-STTR

最新推荐文章于 2024-07-26 13:24:37 发布

sanroutuo

最新推荐文章于 2024-07-26 13:24:37 发布

阅读量919

点赞数

文章标签：人工智能深度学习自然语言处理

本文链接：https://blog.csdn.net/sanroutuo/article/details/128500791

版权

阅读《Revisiting Stereo Depth Estimation From a Sequence-to-Sequence Perspective with Transformers》记录

1. STTR用transformer的注意力机制和位置编码重新给出了双目立体匹配的解法，该论文提出了三个非常有建设性的想法：1）不需要显示设定视差范围；2）给出了被遮挡区域和预测的置信度；3）在特征匹配中添加唯一性约束。

2. STTR网络流程图如下：

左右图像的行和列向量分为表示为 $I_{h}$ 和 $I_{w}$ ，特征描述子的通道数为C。

3. 特征提取：

特征提取模块用的是encoder-decoder结构的CNN网络，encoder部分用了残差网络和空间金字塔池化模块，decoder是反转卷积和全连接层。记每个像素的特征描述子为向量 $e_{I}$ ,维度为 $C_{e}$ 。

4.Transformer：

4.1 transformer整体结构：

4.2 self-attention和cross-attention

self-attention和cross-attention遵循attention模块KQV及多头注意力机制的所有运算规则；

self-attention用于计算同一张图像上极线上像素点的关联关系，QKV在同一张图中计算；cross-attention用于计算左右两张图像上极线上像素点的关联关系，Q在原图上计算，KV在匹配图上计算，而且cross-attention的计算是双向的，实验效果如下：

4.3 Relative Positional Encoding：

为了解决无纹理区域的匹配问题，引入了相对位置编码，利用无纹理区域相对于纹理显著区域的相对位置信息来完成像素点相关关系计算。

加入绝对位置编码后，每个像素的特征向量为： $e = e_{I} +{\color{Blue} e_{p}}$

代入4.2中相关性的表达式 $\alpha _{h} = softmax(Q_{h}^{T}*K_{h}/\sqrt{C_{h}})$ ，可得：

由于引入位置编码是为了更好的辅助无纹理像素的匹配，所以只有position-position的第四项不符合文章的设计原则，因此删除了第四项，并将绝对位置换为相对位置，则有：

增加相对位置编码的实验效果如下：

4.4 Optimal Transport：

传统匹配方法是将右侧图像中的每一个像素至多匹配给左侧图像中的一个像素，然而这种硬的匹配方法无法计算梯度。因此采用了熵正则化的最优传输entropy-regularized optimal transport替代。M为cross-attention模块输出的代价矩阵。

4.5 Attention Mask：

对齐后的左右摄像头的图像的匹配点比为 $X_{R} \leqslant X_{L}$ ，因此在最后的cross-attention层，左图像只与右图像上坐标满足 $X_{R} \leqslant X_{L}$ 的情况下才做计算，示意图如下：

5. Raw Disparity and Occlusion Regression：

取4.4中找到最大匹配的概率，索引记为k，以该位置为中心的大小为3x3的窗口做归一化：

然后对视差进行加权平均：

匹配度越高，被遮挡的概率越小，因此对匹配度求反可以作为被遮挡的概率：

6. Context Adjustment Layer

上述4-5都是在同一条极线上得到的视差图及遮挡图，缺乏上下文信息，因此采用了卷积神经网络进一步调整，结构如图：

实验对比结果：

7. LOSS

关注