2018-CAD国家重点实验室-《从单张图像中恢复三维可编辑物体》

一.摘要部分：

1. 我们的目标是恢复3d物体的语义部分并且可以直接编辑。
2. 我们的研究假定大部分人造物体都能由一般基元（图元）表示，针对一般立方体和一般圆柱体进行研究。
3. 为了实现零件的精确分离，我们建立了一个新的实例感知分割网络。输出一组标记为profiles和body的平滑部分级掩码
4. 关键技术：我们通过将识别出的轮廓沿轮廓线扫过，同时识别轮廓-体关系，恢复三维零件，并共同优化几何形状，使其与恢复的掩模对齐
5. 在实例分割和三维重建方面优于现有方法

 

二．关键词部分：

可编辑物体，实例感知分割，扫描面

 

三．结论部分

1. 提出了一种从单幅照片中提取三维可编辑对象的全自动方法
2. 我们的框架以Mask R-CNN为基础，构建一个能够提高实例分割结果的网络
3. 后续的建模阶段，我们同时对相机姿态和三维物体轮廓进行优化，并通过扫掠算法估计出三维物体的形状

四．介绍部分

研究难点：

图像三维重建的难点：任何成功的解决方案都应该能够可靠地从图像中分割出一个对象，然后恢复其形状和结构，而这两点都是不适定的，通常需要施加先验和使用复杂的优化

研究现状：

照片本身是“平的”，不包含相关的深度信息，传统的解决方法依赖于多视点立体或体积重建来恢复点云、法线或物体的可视外壳。即使使用最先进的重建算法，所得到的三维几何图像的质量也很低。替代解决方案：

1. 将物体看成多个简单基本物体组件，再单独分析每个组件。这个类别中的大多数现有方法都需要大量的人工输入来划分对象
2. 端到端方法利用生成神经网络直接从一张图像推断出一个物体的点云或体积表示，能够生成与实际几何体相似的粗糙的几何体。得到的模型的质量仍然很难满足CAD模型或参数网格的质量。

 

研究成果：

提出了一种全自动的、基于单图像的技术，来生成非常高质量的特定类别的物体:由广义长方体和广义圆柱体(简称GC - GCs)组成的物体。

广义的圆柱体和长方体在传统CAD系统中都能被描述为一个剖面（圆，长方形）沿一个轨迹轴扫掠得到。一般来说剖面可以缩放，轨迹轴可以是曲线。

本重构流水线中的优势在于每一个圆柱体/长方体部件的剖面和轨迹轴能直接修改，然后组合成一个新的GC-GCs。

 

算法流程：

1. 首先对GC-GC对象的每个语义部分进行划分和识别。实例分割网络掩码R-CNN能够处理由前景遮挡甚至自遮挡引起的“不可见的轮廓”。 然而，由于接受域很小，输出常常包含错误的边界和不完整的掩码，与实际对象掩码不一致。因此我们扩展了掩模R-CNN的结构，通过将轮廓图和边缘图合并到一个连接网络（可变形卷积网络DCN）中，构造了我们的几何网络(简称GeoNet)。边缘映射和2D轮廓映射被用来更好的获取体和面区域的边界，这对后续建模过程至关重要。整个网络最终输出围绕边界区域的光滑掩码。
2. 部件分区之后，采用一个体积扫掠方案来进行重构，这个过程被解耦为剖面拟合和剖面扫描。为了估计三维剖面，我们将剖面和摄像机姿态进行联合优化。然后提取每个体掩码的轨迹轴并利用估计的相机姿态将其映射到三维空间，以指导剖面扫描的优化。
3. 演示了各种图像处理方法，通过定性和定量实验证明了方法有效性。

个人理解：剖面拟合过程中为了得到三维空间的剖面，将剖面和相机姿态进行联合优化。再提取轨迹轴用估计出位置的相机将其映射到三维空间，最后进行剖面扫描。