多视图PatchMatch：Gipuma-ACMH-ACMM

ACMH

1. diffusion-like propagation：自适应棋盘格采样模式
2. multi-hypothesis joint view selection：多假设联合视图选择

propagation

Gipuma：提出diffusion-like棋盘格模式，将像素划分为红黑两组，每次同时更新一组像素点，对于给定像素的更新，可能的候选点是邻域内的另一组像素点。

标准传播模式考虑使用20个邻域点进行传播
高速传播模式，使用简化的更新候选项，论文没有解释
ACMH参考高速传播，将固定位置采样的8个点扩展为4个V形区域和四个长条区域

每个V形区域包含7个可采样点，每个长条区域包含11个可采样点，根据之前的多视图匹配代价，从这些区域中采样出八个最终的良好假设。（多视图匹配代价较小的假设更能代表局部平面）

view selection

多视图选择方案：解决传播过程中的噪声问题。
Gipuma：考虑存在遮挡的视图，即使平面估计正确也会在这些视图中返回高代价值，从而模糊目标。处理的方式参照[24]，[24]中只考虑代价值中最好的50%，即假设至少一半的图像在给定点处代价有效。微小改变，使用可调参数K替换50%，指定要考虑的代价数量：

K的选择取决于不同因素，一般来说，较高会增加冗余，提高三维点的精度，但也包含不匹配的风险，降低鲁棒性。根据经验，较低的值往往效果更好，在稀疏数据集中K=3。
[24] S. B. Kang, R. Szeliski, and J. Chai. Handling occlusions in dense multi-view stereo. CVPR 2001.
但是，由于不同假设的聚合子集不同，将会导致偏差。
ACMH利用上述传播的八个假设进一步推断每个相邻视图权重
对于每个像素p，都有一个代价矩阵（N-1个相邻视图，8个假设）

投票决策决定一个视图是否合适（对于某一糟糕的视图，对应的8个匹配代价总是很高，相反好的视图会有相对较低的匹配代价，此外良好的视图匹配代价将随着算法的迭代而降低）

匹配代价的边界：

满足两个条件
对于一个特定的视图I_j，大于n₁的匹配代价数量应该满足：m_i,j<τ(t)。（这部分匹配代价构成集合S_good）
同时，小于n₂的匹配代价数量应该满足：m_i,j<τ₁
满足即合并到当前视图选择集中

上述推断的视图选择集可能包含不稳定视图，所以每个选择视图的聚合权重不同
匹配代价的置信度：

使得好的视图更有辨别力
权重定义：

假设t-1次迭代最重要的视图v_t-1将继续对第t次迭代的视图选择产生影响。

I为指示器函数
如果上次最重要的视图本次依然最重要，那么权重x2；如果依然入选但不是最重要则保留本次计算的权重；如果未入选则权重为0.2
那么最终可得到多视图光照一致性代价：

选择具有最小聚合代价的假设更新当前像素

refinement

产生两个新假设，其中一个是随机产生的，另一个是通过扰动当前估计得到的。
将新生成的深度法向和当前的深度法向结合，产生另外六个待验证的新假设，选择聚合代价最小的假设作为像素p的最终估计。

对最终深度图使用大小为5x5的中值滤波器

ACMM

几何一致性指导

key：上采样的源图像深度图能够几何约束这些估计，弥补光照一致性约束的不足 （图像金字塔）
使用重投影误差表明这种一致性
相机矩阵：

则从像素点p投射到三维点X

其中D为图像I_i下的坐标p的深度
则参考图像ref和源图像j在第i次假设下的重投影误差为

δ表示截断阈值，使重投影误差不受遮挡的影响
在光度一致性代价基础上加入几何一致性代价

λ是平衡两项权重的因子
特别的，在第l个尺度，采用联合双边上采样，将上一尺度估计传播到当前尺度

细节恢复 Detail Restorer

在对低尺度的估计上采样后，先重新计算一遍光照一致性代价，然后用ACMH得到新的光照一致性代价，比较两个代价，对于差值大于阈值的点，使用新的代价对应的估计参数替换原估计参数。