C C++最全基于图像分割的立体匹配方法_分割式立体匹配，想找工作的你还不看这份资料就晚了

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上C C++开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以戳这里获取

（二）最小割
网络图中一个S-T的割意味着将顶点集分为两部分，。割的代价为顶点集到所有割边的容量和，容量和最小的割称为最小割。设x 和y 是顶点集V中的两个顶点，(x,y)表示从x 到y 的一条边，其边的权值表示为c(x,y)。因此对于图G=(v,e)其一个割可以表示为：

Ford 和 Fulkerson 早在1962年证明了最大流和最小割的等价对应关系。通过求网络图的最大流来等价其最小割，进而可以获取此最小割对应能量函数的全局最小值。一个值得注意的工作为Boykov等人提出的基于图割理论有效的能量函数优化方法。在该方法中，作者提出标号函数的两种比较大的移动，扩张移动
(expansion moves)和交换移动(swap moves)，并证明了其扩张算法所获得的局部小和全局小相差一个已知的常数，而交换算法可以处理更一般的能量函数形式。本文使用扩张移动算法。

3.立体匹配网络图的构造

在使用图割算法进行立体匹配过程中首先需要构建网络图，对于上文提到的网格图由节点和连接节点的有向边组成。源点S，汇点T为两个特殊节点。边分为两种，一种视差边，一种是平滑边。视差边对应于能量函数(公式(1))第1项，平滑边对应于能量函数第2项。
网格图的具体构建过程如下：

• 1.建立3维坐标系O-XYZ，把图像置于OXY平面，得的原点，X轴、Y轴与OXY平面的原点以及相应的轴重合。
• 2.在Z轴的正半轴上，从原点开始等距离的放置向量了l1,l2,…ln，在l1即原点O的地方放置q0，对于i=1,2,…n-1在li和li+1的中点放置点qi，最后在ln处放置qn。

至此，由OXY平面中像素点p=(px,py)以及Z的正半轴上点q0,q1,…qn构成了一个立方体网格。我们可以知道，对i=1,2,…n-1，在Z轴上的每个区间[qi,qi+1]恰好包含一个li+1。记(p,qi)=:(px,py,qi)为立方体网格上的节点，N§为像素点P的邻域。在网络图两端分别添加两个节点，即源点S，汇点T。并在S到I1中每个属于左视图分割模版(图(1))中标记为前景的像素点之间添加一个边，在T到集合即立方体网络上与OXY平面相对的另一个面上的节点，添加到汇点的边。由此，获得一个无向图G=< v,e >即：

则网络图中各边的容量为：

• (1)源点，汇点连接边的容量为：汇点链接边的容量

• (2)视差边的容量为：对任意，边的容量为：
  
  在对视差边的处理上，视差边对应能量函数的数据项，既(1)式的第一项，在彩色图像中我们对RGB三通道分开处理，再求加权平均，这样保留了颜色信息，结果更加精准，特别的，为了更进一步的准确，本文采用线性最近邻插值算法添加了亚像素信息。上式可以扩展为：

为彩色图像各个通道的权值，可取0.29，0.11，0.58，或者0.33。

• (3)光滑边的容量：p, q为衣服图像中相邻两像素：
  
  于是网络图构建完成，如图所示：
  

4.基于图割算法的图像分割

本文以图割算法为基本框架，采用基于图像分割的办法来实现对于感兴趣物体的立体匹配。由于彩色图像分割算法会影响到后期立体匹配的结果，所以选取合适的分割算法非常重要。

基于自动化非交互的分割方法可能会把相同视差的区域分开或者隐去了图像的部分细节信息，这就造成了误差，而消除误差需要引入其他方法，如通过引入局部匹配算法为分割模版提供初试视差估计等方法，但这些方法提升了立体匹配算法的整体复杂度，而且没有有效利用分割信息。所以本文采用基于图割算法的图像分割，在构建立体匹配网络图的同时进行图像分割。

在图像分割问题中我们定义如下的能量函数形式：

传统基于图割算法的图像分割将上式映射为求解对应加权图的最大流/最小割问题，对于低分辨率的简单图像交互分割效果良好但是计算复杂度较高，内存开销大。为了提高分割速度并且适用于高分辨率图像，将图像分割融入立体匹配的流程中。本文采用文献[22]中的方法，通过添加辅助索引节点，并使用新的能量函数形式：

加速分割并减少运算量。公式(5)数据项中跟表示前景物体跟背景的非归一直方图，平滑项中
，为图像中所有⊿I的均值。该方法简化了图割计算时间，并且得到了非常精准的分割结果。如下所示(蓝色种子点用来标记背景，红色种子点用来标记前景)：

这里写图片描述	这里写图片描述
baby1左视图种子点设置	左视图分割结果
这里写图片描述	这里写图片描述
baby1右视图种子点设置	右视图分割结果

5.图割算法立体匹配

在立体匹配问题中，视差图的标号问题可以等价为全局能量函数的最小化求值问题，通常表示为Greig能量函数形式

在图1中，点表示源点，点表示汇点，视差边对应于能量函数式（1）中的第一项，平滑边对应于能量函数第二项。求解式（1）的能量函数的最小值可以等价为求解图的最小割问题，获得全局最优的视差图。

为了减少立体匹配的运算量，本文根据图像分割的结果得到感兴趣物体与分割模版，由分割模版构建网络图，使用图割算法进行立体匹配，有效利用了分割信息。综上所述本文算法可以概括为两大步骤：1感兴趣目标的提取，2利用网络图进行立体匹配。算法流程图如图2所示：

Figure 2 Flow chart of the Algorithm

本文相对于传统方法，根据每个像素构建网络图的算法有所不同。对于图，在两端分别添加源点，汇点之后，只在到中每个属于左视图分割模版中标记为目标的像素点之间添加边，在T到集合即立方体网络上与平面相对的另一个面上的节点，添加对应到汇点的边。通过上述方法，可以大大减少计算量。

为了进一步优化匹配结果，本文在对网络图中视差边的处理上，针对彩色图像采用RGB三通道分开处理，用线性最近邻插值算法在图像的横坐标方向添加了亚像素信息。即将(2)式扩展为：

式中为彩色图像各个通道的权值。

按照上述的方法法构造网络图，并给各个边赋相应的权值，采用基于增广路的最大流算法求解，得到全局最小值，即为最优视差匹配。

参考文献

[16]Boykov Y, Kolmogorov V. An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(9): 1124-1137.
[19]Roy S, Cox I J. A maximum-flow formulation of the n-camera stereo correspondence problem[A]// IEEE International Conference on Computer Vision[A], 1998 January 4-7, Bombay India:492-499.
[20]Hong L, Chen G. Segment-based stereo matching using graph cuts[A]// IEEE Conference on Computer Vision and Pattern Recognition[C],2004 June 27-July 2,Washington DC USA:74-81.
[23]Tang M, Gorelick L, Veksler O, et al. GrabCut in One Cut[A]// IEEE International Conference on Computer Vision[C], 2013 Dec 01 - 08, Sydney, Australia 1769-1776.
[24]王年, 范益政, 鲍文霞等. 基于图割的图像匹配算法[J]. 电子学报, 2006, 34(2):232-236.
[25]Scharstein D, Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[C]// Stereo and Multi-Baseline Vision, 2001. (SMBV 2001). Proceedings. IEEE Workshop on. IEEE, 2001:131-140.
[28]Deng Y, Yang Q, Lin X, et al. A symmetric patch-based correspondence model for occlusion handling[C]// Proceedings / IEEE International Conference on Computer Vision. IEEE International Conference on Computer Vision. 2005:1316-1322 Vol. 2.
[29]Freeman W T. Comparison of graph cuts with belief propagation for stereo, using identical MRF parameters[C]// Computer Vision, 2003. Proceedings. Ninth IEEE International Conference on. IEEE, 2003:900.
[30]Kolmogorov V. Graph based algorithms for scene reconstruction from two or more views[D]. Cornell University, 2004.
[31]Kolmogorov V, Zabih R. Multi-camera scene reconstruction via graph cuts[M]//Computer Vision—ECCV 2002. Springer Berlin Heidelberg, 2002: 82-96.

论文资源合集

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上C C++开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以戳这里获取

正体系化！**

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以戳这里获取