双目立体匹配回顾笔记

1. 基于窗口的全局算法窗口设置问题（匹配是假设表面前向平行的，而事实上与此会违背，另外在不连续的区域背景部分是无法对准的，因此窗口太大不利于匹配的准确性，另外窗口太小的话对于若纹理和重复纹理区域引入更多的outlier，试验中比较难把握一个最优值）根据图像区域的性质动态选择窗口大小是一个可以考虑的方向；

2.Box-Filtering技术基于相邻像素的窗口关系增量求解窗口aggregation，提高效率

3.Shiftable Window（slide P81）减少Fix Window边界处定位的困境，取消了窗口以所求像素为中心的限制（根据局部的连续性灵活选择窗口，当然Refrence Image 和Target Image之间要保持一致）

4.后面的各种窗口取法都是为了更好地handle不连续和遮挡的问题，窗口的选择更多是基于更多的计算比较score选择最优的，基于计算还是有些盲目，解决这些问题最合适的对图像基于颜色局部相似性进行分割，图像分割在cost aggregation, disparity refinement, outliers detection 中很有用，因为在此时所使用的假设条件放松了，在实际中更容易满足（在每一个segment深度是平滑变化的，而不是之前在整个图像区域的假设），实际操作是非对称的只对参照图像进行分割，确定窗口权值是对于在允许的最大窗口范围内的每一个像素进行标记，与中心像素属于同一个segement的为1，否则远小于1，然后在target Image中取同样的分布..(图像分割也采取对称的策略确实也不好利用target image的分割信息)    引申-》Adaptive Weight（隐式的达到了分割的效果）根据空间信息（像素距离）和颜色距离确定权值，结合TAD有不错的效果（双边滤波思想的移植slide P95）

 

想法：设计权值结合分割和双边权重？

5.Locally Consistent (LC)，探索相邻像素之间的深度关系，对连续性约束进行显示建模，在不连续边界附近和若纹理区域重构效果有明显改善；LC+FBS表现的很好，FBS先对不连续区域进行了比较好的建模，后面使用LC对内部连续区域和边界附近进行加强，结合的很好

6.全局视差优化E（data）可以取前面各种方法求得的值（作为初始迭代？）DP在边界和若纹理区域表现得很好，但会带来条纹效应