《Accurate Multiple View 3D Reconstruction Using Patch-Based Stereo for Large-Scale Scenes》论文阅读笔记

主要分成四步：立体像对选择，深度图计算，深度图优化，深度图融合
1.立体像对选择
利用空三（SFM）计算出的相机位姿和三维稀疏点，可以计算出相机不同位姿下的平均夹角aij，文中取5°<aij<60°（条件1）；另外取相机位置之间的距离dij，d0为所有相机距离的中值，去除dij>2d0或dij<0.05d0的图像，剩余的满足条件1的作为一组立体匹配像对N(i)。
如果N(i)中影像数量大于k1，则根据aij*dij进行排序，取前k1张作为一组立体匹配影像（文中k1取10）。
2.深度图计算
2.1 初始化平面
利用法向量n和三维点云X来表示一个平面，如下图所示。

其中在相机Ci坐标系下，Xi = λ((Ki)^−1) p，初始化时取λ ∈ [λmin , λmax ],

论文中θ is a random angle in the range [0˚, 360˚], and φ is a random angle in the range[0˚, 60˚].

2.2 计算匹配代价
首先计算出相机Ci坐标系下所有像素点（每个像素点对应着一个初始化的平面）到相机Cj坐标系下的单应性矩阵，计算公式如下：

在相机Ci下，取影像上某一像素点p，以像素点p为中心获取周围窗口大小为w * w的像素点，通过计算每个像素点至相机Cj坐标系下的单应性矩阵，将每个像素点投影至相机Cj的影像上，计算NCC（Normalized Cross Correlation）

注：优化NCC方法文中未提及，采用梯度下降法方法？
2.3 传播和抖动优化平面
迭代处理影像Ii中的每个像素点，迭代次数文中设为3；奇数次迭代时，从左上角开始往右下角传播，偶数次迭代时，从右下角开始往左上角传播；
每次传播时分成两步，空间传播和随即抖动
空间传播
Let pN denote the neighborhood of the current pixel p, and f pN denote pN ’s plane, we use the matching cost in Eq.6 to check the condition m(p, f pN ) < m(p, f p). If this condition is satisfified, we consider f pN is a better choice

for p compared to its current plane f p, and propagate f pN to p, . set f p = f pN .
就是利用某一像素点p的邻域像素点pn的平面，将Pn对应的平面{ni，X}用来进行像素点p的代价计算，若计算出的代价值低于该像素点p平面计算出的代价值，则将像素点p的平面替换成邻域像素点pn的平面。
随机抖动
空间传播计算完成后，对每个像素点的平面进行一定程度上的随机抖动，例如给定一个抖动范围{λ, θ , φ}，计算抖动后的平面所对应的代价值，若小则取该平面作为该像素点的平面。文中设定抖动次数为6次

传播和抖动完成后，将代价值m大于0.3的点作为不可靠点进行去除。
3 深度图优化
在影像Ii中将每个像素点的深度值通过下列公式投影为世界坐标系下的3D点X。

将世界坐标系下该3D点X投影至影像Ii的邻域影像N(i)坐标系下，获得该3D点在邻域影像N(i)坐标系下的深度d(X,Nk),将其与影像N(i)上该像素点计算出的深度λ(X, Nk )进行比较

若满足上列等式（文中τ2 = 0.01），则记为该点X在影像I和影像N(i)上是一致的，若是满足一致性的邻域影像超过2张，则该点保留，否则去除。
4 深度图融合
由于多张影像中可能会对同一点进行重复计算，因此需要去除这种冗余点。

如上图所示，先将影像Ci的深度图转化为世界坐标系下的3D点云X，然后将3D点投影至其相邻影像中，
若是该点深度小于相邻影像深度（如N1和N2），则说明X在这个邻近相机中的投影被遮挡，并将其从这个邻近相机的深度图中移除；
若是该点深度与相邻影像深度很接近（如N4），说明这两个点是同一点，也将其从邻域影像中去除。