立体匹配的后续处理：左右检测+遮挡填充+中值滤波_立体匹配后处理

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

[前言]

相信很多刚接触立体匹配(stereo matching)的同学都有这样的困惑：为什么完全按照论文里的步骤和参数得到的结果却比论文里呈现的要差不少？

如果程序真得没问题，多半是由于你比论文里少做了一个后续处理步骤(post-processing)。而且，作者通常不在论文里对这种后续处理加以详细说明。

这里介绍一下最常用的后续处理措施：左右一致性检测(Left-Right Consistency (LRC) check)，希望能帮助一些人。左右检测对实验效果的提升是很显著的，无论是视差图的视觉效果还是数据精度。很多时候LRC都是论文的遮羞布，在论文主体部分优势不明显的情况下，通过LRC依然能得到过得去的结果，从而掩盖了核心算法的孱弱。是的，一些不错的会议文章也是这么干的。这就是论文写作的小trick吧，也是一种潜规则了。

[Occlusion 介绍]   遮挡，顾名思义是只出现在一幅图像，而在另一幅图中看不到的那些点。在立体匹配算法中如果不针对遮挡区域做一些特殊处理是不可能通过单幅图提供的有限信息得到遮挡点的正确视差的。遮挡点通常是一块连续的区域，记作occluded region/area。

[LRC check介绍]   LRC check的作用是实现遮挡检测(Occlusion Detection)，得到左图对应的遮挡图像。
  具体做法：根据左右两幅输入图像，分别得到左右两幅视差图。对于左图中的一个点p，求得的视差值是d1，那么p在右图里的对应点应该是(p-d1)，(p-d1)的视差值记作d2。若|d1-d2|>threshold，p标记为遮挡点(occluded point)。

如下依次是，左图的视差图，右图的视差图，teddy左图，左图对应的二值遮挡图。

 

 

[Occlusion Filling]   得到了二值的遮挡图像，之后是为所有黑色的遮挡点赋予合理的视差值。对于左图而言，遮挡点一般存在于背景区域和前景区域接触的地方。遮挡的产生正是因为前景比背景的偏移量更大，从而将背景遮盖。
  具体赋值方法是：对于一个遮挡点p，分别水平往左和往右找到第一个非遮挡点，记作pl、pr。点p的视差值赋成pl和pr的视差值中较小的那一个。d§= min (d(pl),d(pr)) (Occluded pixels have the depth of the background)。

下面依次是左图的视差图，进行occlusion filling后的视差图。 

[Median Filtering]   这种简单的Occlusion Filling方法在遮挡区域赋值方面效果显著，但是对初始视差的合理性和精度依赖较高。而且会出现类似于动态规划算法的水平条纹，所以其后常常跟着一个中值滤波步骤以消除条纹。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**