【论文阅读】18-Large-scale and high-quality Multi-view stereo

0 basic Information

TY  - JOUR
AU  - Vu, Hoang
PY  - 2011/12/05
SP  - 
T1  - Large-scale and high-quality multi-view stereo
ER  - 

1、Photometric robust variational refinement

1.1、 Refine的必要性

Initial surface M0：

• Isolated T (基于可视性约束)
• big size T（lack points–textureless）

---

解决办法：

• remove T （size // number）
• Landscape （far from camera – inexact calibration）—cut (无法refine)

1.2、 refine 核心

variational refinement ---optimize photo-consistency

构造能量函数E=（E_error+ E_fair + regularize）
E与surface（M）有关，对E求最小值，以M0(initial surface)为迭代初值
求解方法： graph-cut

1.3、E-能量函数构造

1.3.1、E_error --基于 E_photo 改进

H(Ii,Iij) ---- photo-consistency –常用： -NCC

1.3.2、 E_fair

• 作用：measure the total curvation –surface 测度
• 数学表达： thin-plate (薄板样条函数)
• 简化：bi-Laplacian

1.3.3、Regularize

作用：smoothing terms (常用思路)
Twofold:

• Photo-consistency –reliable (textureless) 特别是在弱纹理区域，给予photo-consistency 一定的置信度 数学改进： 引入r( xi) : reliability factor –Pair( I,J)
• 引入scale factor，使得E_error & E_fair homogenized
  Scale factor=【avg(depth) /focal length】^2

1.4、优化求解过程

重点：surface 离散化–Surface – T –vertexes

PS：两种思路： 先优化，再离散 // 先离散，再优化 （本文采用此方式）
离散化后，对E的梯度计算的推导：

E_error 关于3D point X 的梯度的几何意义： 2D pix 对应3D point–投影点在 该 X邻域的所有T内，对这样的2D pix 加权
权重（重心坐标）：

1.5、 mesh resolution：Adaptively： subdivide

Camera pair（I , J）
只要其中一个相机满足以下条件，T subdivide

条件：T 重投影到图像对应的像素数量超过阈值（本文设置为16

---

Subdivide 方式：one-to –four – edge middle point
Loop C T. Smooth Subdivision Surfaces Based on Triangles[J]. Department of Mathematics the University of Utah Masters Thesis, 1987

1.6、 结果及评估

Accuracy --- 针对refienment

算法产生的mesh与gt计算准确度（基于vertex or face）,精确度在前90%的vertex or face 对应的误差
（空间距离？！ 以mm为单位）

Completeness --- 针对initial surface 

以1.25mm为阈值计算refined mesh 相对于gt的完整度

1.7 其他

Level set — surface 重建的一种方法，level set 等值线 – 隐函数类型

2、Surface triangular mesh merging

2.1、pre

1. 前提：sub mesh –same coordinate
2. Sub mesh merge –存在double & gap

2.2、step1–overlap detection

1. T（triangle）–sphere

• 球心 : 质心G
• 半径:

2. collision detection

利用kd-tree 进行collision detection：
Different leaves（叶节点）： not intersection
Same leaves（叶节点）: intersection

2.3、step2 --CDT （constraint DT）

1. pre：surface 划分：

• Overlap
• Overlap区域的vertex– ring face in non-over ---- F
• Non-overlap
• Edges(区分 non-overlap && F) –—E

2. 参与DT构建的elements：

• Overlap vertex：
  重要!!! 先对position 接近的vertex进行合并，去除冗余
  Position接近—sphere（r = ε(10^-6)/2） collision detection(kd -tree 同上)
• F :error(T intersection) detection && remove
• Infinite vertex — open surface

3. CDT的构建方式：

F中face保留或者以某种方式细分，未细究。论文实现方式：software --Si Hang’s software tetgen

2.4、step3 --graph & minimize cut

1. Dual graph ( 对偶图的作用：采用s-t的最短路径规划来实现最大流、最小能量函数的问题)
2. 能量函数：
   
   
3. 重点！！！ Graph – weight 设置（与主流思想不一致，基于先验约束！！！）
   

1）  	Constraint cost

The face of f or sub_f ( F) 邻接DT：

• DTi – Front of the face –outside – si = si + Wc
• DTj – behind of the face –inside – tj = tji + Wc
• Wc : big value

---

原理： 具有较大置信度的 inside / outside 的先验，可通过增大对应cost，使得最终mini-cut 与先验尽可能保持一致
实质：由sub mesh 已经构建的F （ring face in non-over），在最终的surface中也有较大可能存在，因此基于F的DT inside （behind）/ outside(front) 具有较强置信度
作用：Constrained facets with right orientation appear on the final surface

2）  	 Normal cost

Mesh中vertex normal vector 指向outside，基于该先验，设置s/t cost 对于某vertex，计算
normal vector N, 其邻接DT

• Finite DT (包含N ) + infinite DT —outside si = si + Wn
• FiniteDT(包含-N) —inside tj = tj + Wn

---

作用：The normal costs encourage the surface to pass the soup of facets in overlapped areas.

3）  	 Quality cost

!!!! DT-DT weight，与surface quality 有关，因此，只有wij_包含可视一致性约束 + surface
quality 具体细节同参考论文

25、step4–S1 优化

2.5.1、S1-S2

Steiner point — sub triangles (未细究)
定义见链接🔗

2.5.2、S2-S3

！！！再次运用graph-cut：

1. Node： S2的triangle 三角面片
2. Edge：the sharing edge
3. Weight – 基于先验【F && E】的s/t weight 改进：

• Triangle in F – “inside” — (表示在最终的surface内部，与先前的inside含义不同)
• Triangle adjacent to the E — “outside”------利用的border信息

2.5.3、S3-S4

1. 优化原因： 基于manifold constraint 【vertex && edge的拓扑邻接关系】
2. 优化方式：vertexes in S3 + vertexes in S3’s ring face (non-over) —then？？ （不清楚）

2.6、step5 --merge

2.7、final mesh—Laplacian smoothness

2.8、result

1. 数据集

City-scene dataset：different coordinates –overlap zone： sub mesh intersection inside the box — accelerate the overlap detection

2. 参数设置
   
3. 针对 far vertices，效果不好—解决办法：

• triangle size 阈值
• graph-cut 过程中对big triangle set strong penalty

4. Device info

3、other

1. PLS( piecewise linear system) —见论文附录 130/153
2. 5.3 Merging meshes from partition of bounding box --未看