论文阅读笔记《Group-wise Correlation Stereo Network》[2019]

摘要

        以往的研究，建立cost volume有多种方式，一种是将左右两个特征矩阵在不同的视差水平下，做cat拼接操作，PSM-Net建立的4维的cost volume就是这种，这种方式的缺点是参数量太多，保留更多的语义信息。第二种将左右两个特征矩阵在不同的视差水平下，作correlation相关操作（求内积操作），在通道维度取均值，缺点是生成了的3维cost volume，具有相关性，但是没有更深层的语义信息。所以论文提出了结合两者的cost volume的建立方式。下图是网络的大致结构图，与PSM-Net最大的不同就在于虚线框的形成cost volume的并行交叉结构。

full correlation

         看一下将左右两个特征矩阵在不同的视差水平下，做相关操作的这种方式是怎么样形成cost volume的。如下图所示，输入是左右特征矩阵，遍历最大视差，将左右两个特征矩阵在不同的视差水平下，做correlation相关操作（也就是内积），然后在通道维度上取均值，遍历完毕，得到三维的cost volume。这个相关计算的表达式就是用向量内积的方式，作者在文中将这种相关计算称为“full correlation”。两个归一化的向量做内积，就可以根据结果大小判断相似度。缺点是生成3维的cost volume，具有相关性，但是没有更深层的语义信息。

 group-wise correlation

        group-wise correlation是对cat连接方法和full correlation方法的结合，如下图所示，例如在一个视差水平下，左右特征矩阵的通道数是320，将左右特征矩阵都分成40组，然后一个组一个组地计算它们的点积，两个四维矩阵作点积之后，再在dim=2的维数上求均值，得到一个三维的矩阵。当遍历完所有的视差水平后，将得到的各个矩阵拆分拼接形成size为（bs,40,48,H,W）的group-corr volume。

combined volume

        在得到concat volume（concat左右特征矩阵得到的）、Group-Corr Volume。将二者在空间维度进行拼接，形成了我们需要的combined volume。将左右特征图沿着通道维度划分多组，Group-wise correlation不会丢失太多信息，其包含了特征相似性信息。