根据单张图片实现花卉重建

Flower reconstruction from a single photo

http://xueshu.baidu.com/s?wd=paperuri%3A%28cec751975d46abd3c8cab185c4fa30c8%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Fonlinelibrary.wiley.com%2Fdoi%2F10.1111%2Fcgf.12332%2Fpdf&ie=utf-8&sc_us=4202180532872267971

简介

论文主要提出一种半自动方法，能够仅仅根据一张花卉图片实现相应花卉的重建。这种重建技术在实现上面临的一个重要挑战，就是花卉投影带来的不确定性。关于这个难点，可以充分利用花卉的结构特点——一般而言花卉的头部都是由几瓣几何形状相似的花瓣组合而成的，这样一来，每一朵花实际上都能符合一种固定的结构。本文中提出的技术就是基于这样的假设，首先以圆锥作为一朵花的基础形，然后匹配花卉相应结构的旋转曲面，接着根据每瓣花瓣在照片上的投影信息对其花瓣形状进行计算。不同层的花瓣是通过不同的预处理层来进行单独的处理的。

文中提到的这种技术能够让用户根据一张图片就能快速地生成各式各样的3D花卉模型。

 

相关步骤

本文中主要针对的是普遍的单层的花。

 

（1）预处理

     给定花卉照片，利用计算机视觉技术提取花瓣：在预处理阶段，使用GrabCut方法将花从背景中抽离，每一瓣花瓣通过粒子流 [particle flow] 的方法进行分离

 具体实现：给定照片，手动标记花的中心位置（红点表示），利用粒子流方法进行花瓣的分割，从而自动得到黄色的相交点，绿色点为各花瓣中点。

（2）圆锥（花朵基础形）匹配

         使用上一步中抽取出来的花瓣形状，根据合适的三维规则圆锥形状来确定花瓣的角度和位置：圆锥的尖端位于花的中心位置，花瓣则处于圆锥的表面。

具体实现：由图（a）容易看出，在平行投影的情况下，椭圆e_t过花瓣各顶点t_p，其短轴过中心点o。由图（b）可看出，椭圆e_t是3D圆锥的基圆，起点是花中心o指向椭圆e_t中心的向量r是3D圆锥的R轴（接近花朵轴向）的投影。根据R与r对整个圆锥的影响可知，一旦得到了椭圆e_t，就能得到R轴的3D方向信息，即花朵的轴向信息。

 

（3）花瓣表面匹配

         初始化3D圆锥，花瓣底面通过一个迭代的过程进行旋转曲面建模

  具体实现：计算模版轮廓：给定初始的圆锥形状，将花瓣p进行反向投影到圆锥的表面从而形成一个闭合的2d-曲线 C_p（如图a）。然后为每片花瓣计算出其主轴x_p（如图b）。如此一来，如图c所见，所有花瓣的主轴呈对齐状，所以计算出来的模版花瓣就是靠平均计算得出的（图d）。

 

（4）joint匹配

         一片花瓣的网格模型需要根据模版花瓣轮廓修剪而成，此外还需要进一步变形来生成不同的花瓣。

匹配花瓣的底面：仅仅使用模版花瓣的轮廓曲线，与实际花瓣的轮廓曲线还是存在差异的（见a），这两套曲线的差异就是对花瓣表面进一步匹配的最佳指导方向。使用点来记录每一个椭圆的位置和大小信息，那么就能通过这些点的三次曲线计算出相应的旋转曲面（见图c）。将模版花瓣投影到新的旋转曲面上，可以得到更接近真实情况的花瓣轮廓。

 

（4）单瓣花瓣进一步匹配

         将上一步得到的基于同一花瓣模版的花瓣根据照片的具体投影对每一瓣花瓣进行修整。

    单瓣花瓣进一步匹配：为了更好地进行变形操作，为每个模版网格p沿着其主轴x_p引进局部坐标，其中，花的中心o作为原点，如图（a）。将原来相同的给定点v定位到各自的目标点（b）。

 

（4）纹理贴图

         抽取输入图片中的纹理作为每一瓣花瓣的贴图并贴上。

 

 

局限性

        本文介绍的技术存在四个方面的局限性：

        1.对于不平的花瓣表面，如出现凹槽这种情况，该方法无法建造正确的花卉模型（a）；

        2.拍摄角度的问题，用于花瓣分割的粒子流方法是基于花的中心位于花瓣底部能被拍摄到，则不能正常生成模型（b）；另一方面，拍摄角度不能正对着花心拍摄，这样会缺失花瓣底面信息，生成过于平整的花，不够自然。（e）；

        3.花的头部未能精确建模；

        4.损坏的花瓣不能完成建模。