Cascade residual learning (两阶段)
Problem: 不适定区域(目标遮挡、重复纹理、无纹理等)难以产生高质量的视差
贡献:
- DispNet + up-conv 恢复到全分辨率输出,使视差图像包含更多细节
- 校正初始视差(多规模残差学习机制提供更多有效的优化)
Tip: 直接学习残差信号比直接学习视差更容易
改进: 非一个个堆积残差块,残差信号不能直接监督,用多规模的残差学习机制,学习ground-truth与初始视差的差异来监督残差信号
特点:
- End-to-end
- 集成传统pipeline(匹配代价计算、代价聚合、视差计算、视差优化)
Stage 1:
对Dispnet的改进:额外的反卷积使视差图恢复到输入图大小的分辨率
DispFullNet优势:提供额外的信息,学习目标边界尖锐的变化
产出:相对左图的初始视差,根据视差warp出右图得到一个合成的左图
Stage 2:
输入concatenation
新的视差 d2=d1+r2
Tip:极端情况,第一阶段已经产生最优视差图,第二阶段0残差来保持最优性
0:原始分辨率
理解:不同的分辨率都有一个初始视差,学习多规模的残差信号
亮点:非采用一个个堆积残差块,而是多规模的残差学习机制
优点: 与直接学习counterpart相比,并入residual learning更优异,也有益于整个网络的微调,可减轻过拟合