1024学习笔记 (申老师ppt回顾）

图像一致性

• NCC
  计算量大，离线最常用的方法
• census
  用向量表示。考虑亮度的明暗分布，用一个向量衡量一个图像块的每一个像素与中间点的亮度差异，亮1暗0。受光照影响小。
• rank
  用标量表示，记录图像块中比中心值里亮的像素比例。

两视图中像素深度的计算

• 把右图对极线上所有像素点都考察一遍，看哪个点与作左图的点一致性最高，在再三角化得到像素点
• adaptive weight : 在左图反投射线上离散选择一些深度的点，算投影到右图对极线上的投影点与左图点的一致性
• oriented plane: 随机选择一些方向的平面，或者利用sfm的三维点拟合出一些平面

Q:为什么不在对极线上离散取一些固定点再求一致性？计算量不是更小一点吗？

聚合 cost aggregation

• 不使用单点度量，而是块对块的一致性度量
• 一个块的每个点的权重取决于颜色+空间距离

Q:将左图投影到右图块是发生了扭曲吧，这种情况下同样大小的块度量一致性度量合理吗？
A: patch in reference image and homography-warped patches in non-occluded source images

最优深度选择

两视图：

winner takes all

多视图：

• pazen窗
  最简单是把多条曲线叠加取最大值，但是存在某一/多个视图上看不到该店，带来了一定的不合理性，所以提出pazen窗：对每条曲线找局部极值点，然后找局部极值点最集中的区域。但这样只考虑单个像素的深度，没考虑邻域点
• 马尔可夫随机场
  一阶能量项（当前深度估计的一致性是否很好）
  二阶能量项（是否和邻域深度接近）
  将问题转换为带约束的离散标记问题，局部更平滑，但是运算量大，适合低分辨率。（75：00说了用啥求解，没听清）

深度图估计

• plane sweeping
  选择有共视关系的图像帮助中间图像计算深度，比如用sfm计算出的三维点云选择那些能看到足够多的点的图像
  
  “ 在平行于我当前参考图像的前方平行切出很多的平面，选择出一个平行平面后假设这幅图像中所有场景点都位于这个平面上。那么相机已标定，当前参考图像和周边图像以及空间的平面的方程已知，根据透视几何就能得到空间平面诱导的单应变换的关系 。79：00”
  平面的方向太单一
• patch match
  在进行一致性度量时，不是离散的选取深度和平面方向，而是试图对于每个像素点找到所在平面的法向和深度。
  
  多视图：a.一致性度量时选择合适的方法减轻部分视图遮挡的影响；b.多视图交叉验证剔除外点
  

如何选择没有遮挡的图像进行一致性度量（如何选择邻域图像组）

只在可见该点的图像上计算一致性，而像素可视性需要场景结构，但场景结构又是我们重建的目的。对于解决这个问题，提出了EM算法。EM算法是估计含有隐藏变量的概率分布的常用算法，通过观测值估计联合概率分布的分布参数，可以使用最大似然估计，但是如果有观测不到的数据时无法使用最大似然估计，而采用EM。EM算法采用迭代的思想，对于隐藏数据给出可能观测的值，用来估计分布参数，再用估计出的分布参数，看给出可能观测的值是否符合这个分布，进行更新，更新完反复迭代，直到两者都不再变化。

重建问题中，Z是遮挡，θ和N是深度和法向。E-step推断某个点在哪些相机下可见，选择可见相机计算一致性，得到深度图法向图。再推断当前场景结构下刚才推断的遮挡关系是否正确，如果不正确，就更新遮挡关系，反复迭代得到最后的Z、θ、N。（colmap是这么用的）