《SegStereo: Exploiting Semantic Information for Disparity Estimation》

---

没有源码，该网络与PSPNet基本一样，可以在PSPNet代码的基础上修改即可。

---

1. 研究问题

现有算法难以无特征区域（模糊区域）上准确估计视差，而这些区域的视差可以通过语义线索来预测和修正。

2. 研究方法

提出一个统一模型SegStereo，利用分割子网络提取语义特征嵌入到视差估计主分支中，以改善视差估计，并引入语义损失正则化，利用语义一致性指导视差估计，进一步提高视差估计的鲁棒性。提出的语义特征嵌入和语义损失有助于以无监督和有监督的方式训练系统。

2.1 Basic Network Architecture

• Shallow Feature Extracture
  • SegStereo 整体以ResNet50-v2作为骨干网络（其实就是PSPNet中采用的骨干网络），使用ResNet50-v2的浅层部分提取左右图特征，相比于传统方法，通过卷积和池化可以提取全局上下文，而不仅仅是局部特征。本文对ResNet50-v2进行了少量修改，如上图中的Conv4_x和Conv5_x两个残差块，原始的网络是进行下采样并且采用标准卷积，修改的版本是：不进行下采样，且对Con4_x中的 3*3 标准卷积换成空洞卷积，dilated rate = 2，对Conv5_x中的 3*3 标准卷积换成空洞卷积，dilated rate = 4。然后又去掉ResNet50-v2中最后的平均池化和全连接层。
• Feature Aggregator
  • 使用DispNetC的1-D Corr，从提取的左右特征中计算代价空间。
  • 为了保留细节信息，对左图特征进行变换。
  • 利用PSPNet-50从左右图特征中进行图像分割。
  • 将代价空间、变换的左图特征、浅层分割特征连接，形成混合特征，输出给后来的视差编码-解码网络。（语义特征嵌入）
• Disparity encoder-decoder
  • 输入混合特征，输出全分辨率视差图。
  • 利用输出的视差图对PSPNet-50计算的右图分割特征变换到左图分割特征，并且回归左图的分割估计，与真实的分割形成语义损失正则化，指导视差估计。

2.2 Semantic Feature Embedding

语义特征嵌入包含以下优点

1. 采用的分割分支与骨干视差网络共享浅层计算，以实现高效计算和有效表示。
2. 与视差特征相比，语义特征在平坦区域上给出了更一致的表示，引入了对象级别的先验知识。
3. 通过三种特征的聚合，将低级特征和高级识别信息显式融合。

2.3 Semantic Loss Regularization

分割损失正则化添加了额外的对象识别的约束来指导视差训练。

2.4 Objective Function

补充：

1. 无监督损失函数的光度损失中，${\delta }_{i,j}^p$是一个掩模，用来去除异常点（边界或遮挡区域）的影响。具体来说，如果($i,j$)点处的光度误差大于一个阈值$ϵ$，则${\delta }_{i,j}^p=0$，否则，${\delta }_{i,j}^p=1$。

> 3. 分割损失用交叉熵损失。

3. 实验结果

3.1 基线网络

3.2 数据集和实现细节

训练：

• 在CityScapes上进行预训练。初始学习率设为0.01，power=0.9，动量设为0.9，衰减率设为0.0001。
• 数据增强：随机调整大小、颜色偏移和对比度调整。随机因子在0.5到2.0之间。沿 RGB 轴的最大颜色偏移设置为 10，最大亮度偏移设置为 5。对比度乘数介于 0.8 和 1.2 之间。 “cropsize”设置为 513 × 513，批大小设置为 16。
• 无监督：在KITTI 2015上微调，最大迭代次数设置为 500，批量大小设置为 16，以便进行 40 个 epoch。

3.3 Unsupervised Learning

3.4 Supervised Learning

4. 结论

（1）在KITTI上获得SOTA，在其他数据集上也有效。
（2）语义信息的引入指导视差正确的收敛，尤其是模糊区域得到很大的改善。
（3）语义softmax损失和常见的光度损失或视差回归损失结合，能够以无监督或有监督的方式训练。

5. 启发

语义信息可以改善模糊区域的视差估计精度。

参考文献

[3] A more general robust loss function
[44] Pyramid scene parsing network