三维重建paper

立体视觉中的摄像机标定、角点检测、图像立体匹配、三维可视化、三维重建

· 双目3D重建系统：

  摄像机标定、图像预处理、特征提取、立体匹配、深度确定、计算三维坐标、三维可视化

1.基于RAC的Tsai标定法，获得立体摄像机的内外参数：

     第一步：用最小二乘法求解线性方程组，得出摄像机外部参数

     第二步：求解摄像机内部参数

2.结合立体摄像师模型与匹配的角点，计算三维坐标点，在DirectX平台上，利用顶点列表和索引表进行3D重建

·摄像机标定：获取摄像机内外参数。内部参数=焦距+镜头畸变；外部参数=旋转参数+平移参数

·特征提取：提取点、线、轮廓和区域。

·立体匹配：对提取的特征计算，建立不同图像特征之间的对应关系

前景和背景分割：平面分割算法

· 特征提取

· 特征匹配：基于光流的跟踪技术

· 关键特征重建

· 三角化

· 立体匹配：神经网络分析法、小波分析法

· 深度确定

· 内插

· 景物图像边缘轮廓

· 特征检测

· 轮廓曲线分段

· 特征匹配

· 射影重建

· 准欧氏重建

Tu 等人提出了一种基于 PBT （ Probabilistic Boosting Tree ）分类器 的 BEL 边缘检测算法 [14] 。

Fowlkes 等人利用中层感知信息改进了边缘检测的结果，训练出一个分类器估计边缘的概率，记为 Pb ，将局部亮度、 纹理和颜色梯度信息作为每个像素点的特征 [15]

Tu 等人提出的有监督学习的方法进行边缘检测或提取目标轮廓的方 法的基本思想是：图像上每个像素点都有一定的概率是边缘点，只要计 算出每个点是边缘点的概率，就可以得到边缘的概率图。这种边缘检测 的方法也可以说是对每个像素点进行选择的过程，并且在选择的时候考 虑其周围的上下文信息。在学习的过程中，该算法从上万个特征集中综 合选取一组普遍而有效的特征（例如 Haar 小波特征），学习出一个判别式的模型来计算某图像块的中心点是边缘点的概率。为提高学习的准确 率，要用尽可能多的数据进行训练，机器学习理论为人们提供了 PCA （主 成份分析）、 SVM （支持向量机）和 Boosting （增强法）等算法处理这些 高维的数据 [17-19] 。

三维场景重建是指：给定一个场景的多幅图像或者有关这个场景的 一段视频，通过摄像机标定或其他空间计算方法为该场景建立一个三维 模型。比较常见的情况是建立三维空间坐标系，给出某些点在三维空间 中的位置，更复杂情况下是要建立一个完整的三维表明模型或立体模型

Paper

一、<3D Human Model Reconstruction from Sparse Uncalibrated Views>

* a hierarchical density based clustering algorithm is adapted to obtain high-quality pixel clusters

* regular cameras rely on multi-view stereo(MVS)    

* With uncalibrated input images, structure-from-motion (SFM) [4] can be applied to estimate camera parameters from feature correspondences

---

SFM （structure-from-motion，运动恢复结构）

· 基于图像的三维重建

· 通过分析物体的运动得到三维结构信息

· 重要问题：找到三维物体图像的对应点

· 特征：焦点、多方向有梯度值的边缘

· 找特征点→ 照片的运动方向、拍摄方向→随便拍摄一组照片，都能自动检测运动方向与拍摄角度，自动照片排序

· 实现一个SFM系统的第一步是找到相机之间的运动。OpenCV可以帮助我们在许多方式上获得这个运动，特别地，使用findFundamentalMat函数

· 三角化3D点就是计算3D点的坐标