一种点云网格模型的纹理自动生成方法

真实纹理的映射是提高模型逼真度的一种有效手段。针对无人机序列图像实景建模技术中存在的自动化程度低、纹理效果差等问题，提出一种图像稠密点云网格模型的纹理自动生成方法。该方法利用均值偏移算法判断模型三角面片对应的所有纹理块的质量差异，据此差异赋予不同的马尔科夫随机场能量函数惩罚值，实现点云模型纹理生成的优化。随后，为了消除由于光照不同造成的相邻纹理块拼接痕迹，设计了纹理块环形区域泊松匀色处理方法，降低了处理过程的计算量。最后，通过实验及对比分析验证了该算法的有效性。

近年来，随着计算机视觉、计算机图形图像、遥感以及倾斜摄影等技术的发展，基于二维图像的真三维半自动或者自动建模在虚拟现实、军事以及房地产等领域备受关注[1-2]。该建模方法主要的技术步骤有稠密点云的生成、点云网格模型的构建以及网格模型的纹理生成等。现阶段，研究成果多集中在前两个步骤，而针对网格模型的多图像纹理生成研究较少，且自动化程度不高。

Garcia-Dorado[3]等人重建出整个2.5维城市的纹理模型；Tan[4]等人提出一种基于人工交互的城市模型纹理映射方案，不适用于大范围场景三维重建；Stamos和Allen[5]使用激光雷达获取点云进行了城市建模，但点云和纹理坐标匹配的问题是该方法的难点。影响点云网格模型的纹理映射效果主要有两个因素：一是为每个网格三角面片选择最优的纹理块，而这些纹理块一般分布在不同位置的传感器获取的图片；二是由于真实世界中的物体为非朗伯物体（反射强度不一）、物体光照变化和传感器曝光特性变化等原因，相邻网格三角面片获取到不同图片上的纹理可能出现拼接感。为了解决以上两个问题，文献[6]提出将三角面片对应的不同纹理块进行混合，该方法存在的主要问题是：由于相机姿态可能存在精度问题，混合多个纹理块将造成鬼影(ghost)现象；张春森[7]等人利用倾斜影像进行城市自动重建，在为三角面片选择最优纹理块时考虑了面积、方向、遮挡关系等因素，并使用Wallis对相邻块进行匀色处理得到较好的重建效果，但重建效果仍需要人工编辑；Lempitsky[8]等人将选择最优的纹理块问题，转换成多值标记问题的马尔科夫随机场（MRF）问题，取得较好的效果，但使用的能量函数平滑项积分计算是个难点，且存在纹理块的错位问题；Gal[9]等人同样使用MRF方法，引入图像偏移解决了纹理块错位的问题，但未考虑室外诸如移动的车辆和行人的遮挡问题，且在处理纹理块接缝时用了整块纹理块的泊松编辑方法，效率较低；郭复胜[10]等借鉴Gal等人的方法，实现了基于无人机图像大比例尺真正射影像生成。

针对以上问题，本文设计了一种序列图像稠密点云网格模型的纹理自动生成方法。首先利用均值偏移算法筛选掉网格三角面片对应的纹理块中可能含有的移动的车辆或者行人部分，在剩余的相机图片中，引入马尔科夫随机场能量函数，求解模型的最优纹理块；然后利用纹理块的局部泊松图像编辑进行匀色处理，消除纹理的拼接感。最后使用多组序列图像数据对提出的方法进行可行性验证，并与其它商业软件进行比较分析，得出结论。

1 改进马尔科夫随机场的模型纹理块选择

 

序列图像稠密点云网格模型的纹理块，来源于多个不同位置拍摄的图片，因此，需要为模型的每个三角面片选择最优的纹理块进行映射，这样的问题可以理解为典型的多值标记问题，本文使用马尔科夫随机场（Markov Random Field, MRF）的数学模型来解决这样的多值标记优化问题。

在一个随机过程中，当前的状态只与上一个状态有关，而与其他状态无关，状态之间的相关性一般通过概率进行传递[11]，这样的过程称为马尔科夫过程。

将马尔科夫过程用于描述二维图像的像素之间的关系，设表示一个大小为MXN的图像集合，令

代表一个观察图像。观察图像中的每一个像素，对应了一个标号

，那么图像分割可以表示为这样的标号场，其中，L表示标号的分类数量。根据贝叶斯规则，给定先验的MRF模型以及以标号场为条件，用分布函数描述观察图像的特征场模型，则图像分割处理的后验概率分布

（1）

结合最大后验原则（Maximum A Posterior, MAP），图像分割处理的全局最优化可以得到如下公式：

（2）

根据统计物理学的有关知识可以知道，最大后验概率可以使用最小化后验分割模型的Gibbs自由能量

得到，得到如下公式：

（3）

经过上述分析和推倒，可以将纹理映射的多值标记问题转化成MRF的能量最小化的求解问题。求解这样的优化问题，主要有迭代条件模态（ICM）方法、基于图切割的移动决策方法和树状重置权重消息传递（TRW）方法。Middlebury数据集给出了几种求解MRF方法的代码实现[12]。

考虑到相机位姿估计误差导致纹理映射错位问题，本文使用文献[9]中提到的MRF构造的能量函数形式。在室外场景中，地面经常出现移动物体，在稠密点云生成时并不会重建出移动物体的点云数据，而进行纹理映射时会将移动物体的影像贴在对应模型上，进而对模型逼真度造成影响。为解决此类问题，本文使用目标跟踪问题中常用的均值偏移算法来筛选出三角面片对应的无移动物体的纹理块，并对含有移动物体的纹理块赋予较大的惩罚权值，进而过滤掉带有移动物体的纹理块。

1.1引入均值偏移算法的MRF能量函数

1.2能量函数优化求解

本文同样使用文献[9]提到的树状重置权重消息传递方法（TRW-S）进行求解。考虑到相机原始图片分辨率较大的问题，在求解中，通过将图片进行金字塔划分，减少内存的消耗。求解能量函数的最小值，关键是数据项和平滑项的惩罚系数的求解。遍历所有网格模型的三角面片，分别求解其数据项的惩罚系数、相邻面片的平滑项惩罚系数，组成相应的稀疏矩阵，代入Kolmogorov[13]给出的TRW-S实现代码，可得到最小能量值和最小能量值下对应的三角面片对应的最佳纹理块标记矩阵，即求出了各三角面片对应的最优的相机图片。

2 改进泊松图像编辑的纹理块匀色

由于实际中的物体表面对光照的反射并不均匀（非朗伯物体），且相机的曝光参数不一，相邻的纹理块之间仍然可能存在光照不均匀的现象，导致纹理的拼接痕迹。图像的匀色算法，有基于Mask原理的匀色[14]、基于自适应模板的匀色和基于Wallis的匀色等算法[15]，本文以文献[9]中介绍的泊松图像编辑为基础，仅考虑纹理块的外围环状区域进行匀色，减少计算量。 

2.1泊松图像编辑合成原理

 

 

 2.2基于泊松图像编辑的纹理块匀色

本文在使用泊松图像编辑进行相邻纹理块（来源于不同相机视角）的匀色处理时，仅考虑纹理块的最外围一定像素范围内的区域（本文选取20个像素值），可以大大降低内存消耗和处理时间，如图2所示。此时泊松图像编辑的源图像u为原始纹理块的圈型区域，用生成的目标图像代替圈型区域，本文在计算梯度时使用Sobel算法；当纹理块可向内扩展区域少于20个像素时，考虑整张纹理块的泊松图像编辑处理。

经过上述两个步骤的优化过程：最优纹理块的选择和相邻纹理块的匀色处理后，将所有纹理块统一保存在若干张纹理集上，实现稠密点云网格模型纹理的生成。 

3 实验结果与分析

 为了验证本文算法的有效性，密集点云的网格模型生成采用三维Delaunay方法[16]，加上各组数据恢复出的相机位置、姿态信息以及原始图片数据，进行点云网格模型纹理生成和映射实验；同时为了验证本文改进算法的有效性，新增一组带有地面行驶车辆的低空无人机航拍影像实验数据；并和商业软件的映射效果进行了对比。

3.1实验结果

数据集herzjesu为CVLab给出的一个含有真值数据的多视图稠密重建数据集，该数据为教堂墙面，序列图像分辨率为3072×2048。利用本文的纹理自动生成方法进行实验，各项信息和主要步骤用时统计结果如表1所示。从纹理映射时间统计可以大致看出，在计算MRF能量函数的惩罚系数和求解MRF最小化值时相对耗时。MRF最优化后的纹理块分布情况如图3所示。

将本文方法自动生成的模型纹理保存为2048×2048分辨率大小为的纹理集，如图4所示： 

实验数据的纹理映射效果如图5所示,可以看到，基于MRF能量优化的纹理最优选择可以对室外场景的点云模型进行纹理生成，且总体效果较好，基本没有出现纹理缺失和相邻纹理块的拼接痕迹。 

3.2对比分析 

1.均值偏移算法改进的MRF能量函数优化实验

为了验证本文提出的均值偏移算法改进MRF能量函数优化纹理映射的有效性，选取了一组低空无人机拍摄的某地公路影像图，如图6所示：

 图6(a)为该试验区域的一张影像图，可以看出有多辆车辆正在移动；图6(b)为未使用均值偏移算法筛选移动物体图像，可以看出纹理生成后在行驶的车辆处出现重影现象，导致模型真实感下降；图6(c)为使用均值偏移算法对三角面片对应的所有相机视角进行估计后，引入MRF能量函数的惩罚项，自动生成的纹理模型，可以看出路面上移动的车辆基本被剔除掉，但是仍然有不理想的地方，原因是均值偏移计算时存在误差引起的。这里以图中产生错误的三角面片为例，画出均值偏移的计算结果，如图7所示（横纵轴Y-Cb为颜色空间分量）。

星号为手工标记的没有移动物体对应的影像，加号为手动标记的有移动物体对应的影像，椭圆区域为均值偏移计算出的没有移动物体对应的影像，可以看到有一个判断错误的标记结果，导致最终选择了有移动车辆的影像进行纹理集的生成。

2.与Photoscan商业软件的效果对比

以数据集herzjesu为例，将本文改进的算法与商业软件Photoscan实现的纹理模型进行比较。

(a) Photoscan软件的纹理生成产生了“鬼影”现象 (a) The texture generation of software Photoscan produces ghosting phenomenon	(b) 本文方法生成的纹理效果 (b) This paper presents a method to generate texture effects
图8 Photoscan软件与本文方法纹理映射生成对比 Fig 8 Comparison of texture mapping generation between Photoscan software and this paper

图8(a)为商业软件Photoscan实现的效果，从教堂墙面左边拱门的特写（黑色圈）可以看到，拱门的柱子和正对的砖墙在纹理映射时，两部分纹理相互交错混合了，即出现了所谓的“鬼影”现象，原因是Photoscan在实现多视图纹理映射时将模型三角面对应的所有可能的纹理块进行了混合处理，造成了纹理信息的混乱；图8(b)为本文方法实现的纹理模型效果，可以看出，较好地还原了真实信息，且没有出现“鬼影”现象。

4 总结

网格模型的纹理映射是提高模型逼真度的有效手段。针对模型的多视图纹理映射，将为模型每个面片选择最优纹理块的问题转化成多值标记问题，并利用求解马尔科夫随机场的能量函数最小值的方法进行最优纹理块的选择；考虑到地面上的移动物体会在纹理映射中留下多个重影的问题，将均值偏移算法计算得到的面片质量较差纹理块赋予较大惩罚数值，引入MRF能量函数的惩罚系数计算中，对带有移动物体的纹理块进行约束；针对相邻三角面片对应的纹理块来源于不同相机位置拍摄的图片可能造成的拼接痕迹的问题，仅对纹理块的环型区域进行泊松图像编辑的匀色处理，减少计算量；最后通过几组实验对比，验证本文算法的可行性。