基于图像的三维重建与基于三维点云数据的曲面拟合

在三维重建的问题上存在着两类算法:体绘制和面绘制。 体绘制是直接把体数据投射到视平面得到结果 ,该算法得到的图像质量高 ,但运算量巨大且不能对表面的几何参数进行计算。 面绘制算法先对体数据中的等值面构造出多边形网格 ,然后利用显卡的硬件加速功能实现实时显示。 在面绘制中也有 两 类 算 法 , 一 类 是 直 接 基 于 三 维 等 值 面 的Marching Cubes 算法 ;另一类是基于二维轮廓线序列的轮廓线重构算法。 轮廓线重构算法的缺点在于它难以处理复杂的三维形体表面 ,但对人体表面 ,角膜等简单表面的重建效果比较理想。 用三角形网格对等值面建模后 ,除了可以进行实时的显示外 ,还非常容易计算等值面的几何信息。 因此本研究采用轮廓线重建算法来对角膜表面来进行三维重建。

--------------基于图像的三维重建技术------------

基于图像的三维重建技术的实质是利用照像设备或者录像设备采集的、对显示三维场景或者物体离散的二维图像作为基础数据，经过处理得到场景或者物体的三维数据信息，从而生成真实的场景或者物体，然后通过合适的空间模型把全景图像组织为虚拟的实景空间，用户在这个空间中可以前进、后退、环视、近看、远看等操作，实现用户全方位观察三维场景的效果，采用这种建模技术可以实现普通计算机上的真实感图形绘制。

基于图像重建模型分为：基于单幅图像，采用立体视觉方法，基于侧影轮廓线，基于深度图像等四种重建几何模型。

单幅图像三维重建

目前，基于单幅图像三维重建最广泛和最实用的方法。每一幅图像中含有的大量平行线、平行面、垂直线、垂直面、消失点、消失线等多种几何约束，利用图像的这些几何约束进行摄像机标定或平面标定。进而估算出摄像机的内部各种参数、摄像机的焦距； 然后通过测量目标的几何形状或计算目标高度来估算出必需的深度信息; 最后利用几何投影知识等对图像进行数字化的表述，构建数字化的三维模型，将得到的模型绘制出来，这就是整个的基于单幅图像的三维重建过程。

立体视觉三维重建

立体视觉是从两个或多个视点观察同一景物，已获得在多个不同的视角下对景物的多张感知图像，运用三角测量的基本原理计算图像像素间位置偏差，获得景物的三维深度信息，这一个过程与人类观察外面的世界的过程是一样的。要建立完整的一个双目立体视觉系统通常大致需要经过6个步骤，分别是获得图像、标定摄像机、提取特征、立体匹配、模型重建等。立体视觉的三维重建方法直接模拟人类视觉处理景物的方式，可以在多种条件下灵活地测量景物的立体信息。

侧影轮廓线三维重建

此类方法使用一系列物体的轮廓线条构成三维形体。当物体的部分表面无法在轮廓联机展现时，重建后将丢失三维信息。常见的方式是将待测物放置于电动转盘上，每次旋转一小角度后拍摄其图像，再经由图像处理技巧去除背景并取出轮廓线条，搜集各角度之轮廓线后即可“刻画”成三维模型。

深度图像三维重建

一般的，通过激光扫描仪进行一次扫描得到的是一组二维有序的点阵，其中每一点包含了相应的场景上被扫描点的距离信息，这个点阵被称为深度图像。为了获得完整的场景，往往需要从几个不同的位置对目标场景进行扫描而得到的不同的深度图像则需要匹配到一个坐标系下。通过深度图像获得场景的数据，对点云数据进行基于平面的分割，提取平面特征实现三维场景的重现。
该方法适用于场景之中含有大量的平面室内或室外较大场景，通过这些平面可以获得建模所需要的大量数据。

参考文献：https://wenku.baidu.com/view/e00a504f2af90242a895e562.html

图像三维重建技术的优缺点

基于图像的三维重建系统，漫游效果和处理时间独立于场景复杂度，只与所产生的画面分辨率有关，与场景复杂度无关。另外，预先存储的图像既可以是计算机生成的，也可以是实际拍摄的照片，而且两者可以混用；真实感强，相比于见面得到的虚拟现实效果，更真实可信，更能让人产生身处其中的感觉；最后，因为基于图像的三维重建技术数据量小，所以这种方法对于计算机的硬件，没有很高的要求，实用性更好。
基于图像建模技术必须先要获得若干幅基于真实的三维物体或者场景的真实感知的图像。当要重建真实场景不能够获取到真实感知的图像时，比如物体或者场景根本不存在，是虚构出来的，或者场景处于设计规划阶段，时刻变化的，就不能使用基于图像建模技术。其次，由于场景中的物体都变成了图像中的二维对象，因此用户很难与这些二维图形对象进行交互，获取所需要的信息；另外对照相机与摄影设备有一定的要求，这是获得真实的感知图像的需要。同时这些大量的图像文件也需要足够的存储空间来保存。总之，基于图像的三维重建技术具有快速、简便、逼真的优点，能较好的实现现实事物的虚拟化，该方法尤其适合那些难以用CAD的方法建立真实感模型的自然环境，以及需要真实重现环境原有风貌的应用。

--------基于旋转拍摄轮廓线的三维重建技术---------

其中，重点讲述基于旋转方式拍摄的物体轮廓线来重建三维物体表明的方法。 由一组二维轮廓线重建出物体的三维表面是三维数据场可视化中的一种表面绘制方法。在医学图像可视化以及其他可视化领域中有着广泛的应用。三维表面重建实际上是对物体表面进行三角形划分，从轮廓线的角度出发就是将轮廓线上的顶点按照一定规则进行三角形拼接，从而构成可视的三维物体表面，再利用三维显示技术将其显示出来。以人眼角膜为例：

已有角膜三维重建算法的分析和比较： 

(1) 采用 B-rep 造型的角膜三维重建。实体的 B-rep 表示模型是一个非常复杂的模型，求能够表达出多面体各几何元素之间完整的几何和拓扑关系，且允许对这种几何和拓扑关系进行修改。在 B-rep 表示中，、面、边和顶点是最基本的几何元素，实体的拼合、显示、分析计算或人机交互过程中，基本几何元素的下列操作是必不可少的。 文章针对角膜切片成像的特殊性及特点，据切片在三维空间的位置，立体几何知识，出二维切片边缘像素的三维位置坐标。采用 B-rep 造型，角膜切片的表面划分成若干小区域，个小区域用四边形小面来逼近，用小面来构造三维模型。对于一系列的三维像素点数据，认为其为四边形面元的顶点，一定的规律对顶点进行定义，用同样的方法对面元进行定义，而建立起角膜切片的三维模型。 

(2) 采用轮廓线重构算法的角膜三维重建。该算法首先采集角膜的裂隙扫描图像序列，后在图像集中提取出每层角膜的轮廓，而采用轮廓线重构算法得到角膜表面模型。针对角膜轮廓线是凹的特点，轮廓线重构算法做了改进，便能构造出正确的角膜表面三角形网格。 这几种算法利用了经典的图像三维重建算法，针对角膜图像特点进行了算法改进。主要考虑的是后续角膜三维模型的建立，几种方法对二维图像序列精度要求比较高，二维图像的位置和标定信息获取难度高，以这些三维重建的效果很难达到本文要求。

------------------------三维点云数据拟合曲面-----------------------

subject1:点云数据配准问题

由于受到测量设备和使用环境的限制，在获取物体表面测量数据的时候，每次测量得到的点云数据往往只是物体的部分表面，并且可能会出现平移错位和旋转错位等现象，导致点云数据与实际理想数据出现偏差，因此，为了得到物体完整表面的真实点云数据，需要首先对这些局部点云数据进行整合和配准。主要论述以下三个方面：

（1）目前常用的点云数据配准方法；

（2）各种配准方法的适用范围和优缺点；

（3）具体到三维剖面切线点云数据的配准可以选用的方法。

已有配准方法分析 

医学图像配准是通过某种空间变换，决几幅图像的严格对齐问题。配准技术的应用对象范围很广泛，见的有：位置图像序列配准，同一时刻、同一成像方式应用于不同部位所获得的图像；时间图像序列配准，不同时刻、同一成像方式应用于同一部位获得的图像；多模图像配准，同一时刻、不同成像方式应用于同一位置获得的图像。针对不同的配准对象，采用的方法可能不同，大多数方法可以适用于多种对象。 对于配准方法可以有多达 9 种的分类方法，里按照通常的习惯将对图像序列进行配准的方法分为前瞻性和回顾性两种。

 (1) 前瞻性配准方法。 在成像之前采取人为的措施进行固定或使获得的图像中添加标志点，成像后通过对齐标志点进行配准的方法称为前瞻性配准算法。通常情况下，瞻性的配准方法配准精度较高。但它一般都是有创的，且操作起来比较复杂。对于人眼来说，人眼是人体的敏感和精细器官，不可能直接在其上添加固定标志点。由于眼球表面总是覆盖着泪膜，用荧光或染色法标记也不可行。另外，于眼球的活动十分灵活，有与其它器官相对固定。所以也不能象研究脑组织常用的方法那样，头骨上做标记。因此，瞻性配准方法基本不能适用于这里的情况。 

(2) 回顾性配准方法。 如果成像时不采取任何措施，成像后采取某种算法来寻找图像的空间相对关系的方法称作回顾性配准。当前图像配准领域的研究绝大部分是针对回顾性配准的，出了各种各样的配准算法。例如特征法、不变矩配准法、最大相关法等等。

1. 特征法 

特征法是最常用的一类方法，分有点法、曲线法和面法等等。不论提取的特征是什么以及用什么方法提取这些特征，征法在两幅图像上的特征都确定后配准问题就归结为求解一种变换使得两个特征的拓扑结构的相似性最大化。 特征法虽然原理简单、应用面广，是由于特征提取精度对配准效果的影响很大。（眼前节裂隙灯显微图像序列，没有一个能在每张图像中都能找到的可以作为参照标准的固定特征） 

2.  不变矩法 

不变矩配准法根据所利用的矩的阶数不同等因素还能细分成很多子类，它们的基本思想都是计算出每幅待配准图像的某些矩特性，据矩的旋转、平移和比例的不变性来实现配准。这类方法中常用的是重心主轴法。 由于这一类的方法需要首先计算各幅特性的主轴和重心矩特征，这种方法对有数据缺失的情况很敏感，而且几何特征的一致性也依赖于待配准图像之间的几何形状的相似性。（眼前节显微图像序列不能满足这些要求）

3.  相关法 

相关法是采用使图像间相似性最大化的方法实现配准的方法，通过优化两幅图像间相似性准则来估计变换参数。所使用的相似性测度可以是多种多样的，如相关函数、相关系数、差值的平方和或差的绝对值和等等。由于对每种变换参数可能的取值都要计算一次相似性测度，关法的计算量十分庞大。 

点云数据三维重建相关文章和软件：

• http://www.robins3d.co.uk/
• http://graphics.stanford.edu/papers/volume-cga88/
• http://xueshu.baidu.com/s?wd=paperuri:(dab1c12d737448e480a250c7ff3ae178)&filter=sc_long_sign&sc_ks_para=q%3DTransformation+of+a+set+of+slices+rotated+on+a+common+axis+to+a+set+of+Z+-slices%3A+Application+to+three-dimensional+visualization+of+the+in+vivo++human+lens&tn=SE_baiduxueshu_c1gjeupa&ie=utf-8&sc_us=13785925869175508540
  

subject2:点云数据可视化

数据可视化是完美展示数据的必备手段，http://blog.csdn.net/piaoxuezhong/article/details/68488194展示的例子即可看出三维点云数据可视化的优点。这里不再详述，matlab或python都有比较好的数据可视化性能。

subject3:点云数据拟合曲面

实际采集的三维物体点云数据，在拟合物体实际三维表面结构的时候会遇到多种情况，需要区分对待：

（1）物体表面属于方程可解析的结构，比如球体，椭球，圆锥曲面等。

（2）物体表面属于方程不可解析的结构，比如人体表面，眼前节等表面皆属于不可解析的，即找不到一个现成的方程式去表达它们，此时需要借助于拟合算法。（目前了解的如zernike多项式拟合,delaunay三角剖分等 http://blog.csdn.net/piaoxuezhong/article/details/68065170）

参考：

http://blog.csdn.net/dream_tingness/article/details/40356617

http://blog.csdn.net/wangyaninglm/article/details/51558656

http://blog.csdn.net/xiaolizi399/article/details/44300581

http://blog.csdn.net/u013339596/article/details/19167037

http://xueshu.baidu.com/s?wd=paperuri%3A%28fcb62ab68dd53f6cee7a8b1b7345bcf9%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Fd.wanfangdata.com.cn%2FThesis_D038995.aspx&ie=utf-8&sc_us=13160469977590569771

http://www.cnki.com.cn/Article/CJFDTotal-ZSWY200503019.htm