论文阅读：Real-Time 3D Model Acquisition

前言：

本文为记录自己在NeRF学习道路的一些笔记，包括对论文以及其代码的思考内容。

小编目前在探索3DAIGC和3D打印交叉研究，在这方面有想法、经验的朋友都可以在b站留言交流下！欢迎！

公众号： AI知识物语 B站：出门吃三碗饭

前半部分是英文介绍，后半部分是中文介绍，可以自行跳转

论文：Real-Time 3D Model Acquisition

1.摘要

这篇论文介绍了一种新的实时3D模型获取系统，该系统允许用户在扫描物体时手动旋转物体，并实时看到模型的更新。这种紧密的反馈循环使用户能够实时发现并填补模型中的孔洞，并确定何时完全覆盖了物体。系统基于60 Hz的结构光测距仪、实时版本的迭代最近点（ICP）算法用于对齐，以及基于点的合并和渲染算法。作者展示了他们的原型系统比传统的模型获取流程更快、更易于扫描物体的能力。

a.系统布局 它由显示结构光图案的 DLP 投影仪和 NTSC 摄像机组成。 添加了绿线和蓝线在这个可视化中。

b.Photograph of a turtle figurine approximately 18cm. long.

c.扫描开始后不久，数据积累得相对稀疏 我们的合并数据结构使用的各个点基元是可见的。

d.经过几秒钟的扫描，海龟的前部已经被覆盖得比较好 然而，用户看到一些剩余的孔。

e.收集所有数据后，将使用高质量离线全局配准和表面重建算法产生最终模型

上图为实时三维模型采集系统扫描了一个小乌龟雕像。总扫描时间为4分钟，最终模型的分辨率为每毫米，包含大约20万个多边形。

2.引言

目的：减少对人类输入的依赖，通过测量真实世界来创建复杂场景的真实图像。

3D扫描：用于渲染的复杂对象的详细模型构建。

现有技术：大多数3D扫描仪一次只能从物体的一侧（或一小部分）获取数据，需要从多个视图移动扫描仪或物体以覆盖整个物体

3.Real-Time Range Scanning Pipeline实时范围扫描管道

系统设计：介绍了结构光测距仪、实时对齐算法、体素基合并算法和基于splat的渲染器。

结构光测距：使用投影结构光三角测量法，允许慢速移动物体，并每秒返回完整的范围图像。

快速3D注册：使用ICP算法的变种，针对小的相对运动进行优化。

合并与渲染：使用基于体素网格的合并算法和splat渲染技术，以实时显示不断增长的测距样本集。

如图为基于网格的合并和渲染。 每个距离图像的样本在体素网格中量化，并与其他扫描的样本合并。 在每个网格单元处累积平均法线，并使用splatting来渲染合并的样本。 所有这些插图均代表平面图，但底行的板条已转向面向读者以便可以看到它们的形状和颜色。

如果扫描中没有噪声并且对齐是完美的，则在我们基于网格的合并数据结构中只会累积少量体素（左）。 在实践中，我们看到更广泛的体素层（右）。 这会导致轮廓变厚和渲染噪点增加。 然而，整体视觉效果仍然可以接受，因为图块是使用平均值进行着色的
法线。

4.Anchor Scans and Restarting Alignment锚点扫描和重新对齐

ICP失败：如果ICP失败，系统会尝试重新对齐新扫描与先前的模型。

锚点扫描：维护一些锚点扫描，以便在ICP失败后尝试对齐。

5.实现

硬件：使用Compaq MP1800 DLP投影仪和Sony DXC-LS1 NTSC摄像机。
CPU使用：双CPU系统，一个用于视频帧处理，另一个用于3D点三角测量、扫描对齐、网格集成和渲染。

6.结果

实时管道与后处理：比较了实时管道的结果与全局注册和VRIP表面重建的后处理版本。

与其他扫描仪的比较：将作者的扫描仪与商用单条纹激光三角测量扫描仪进行了比较。

海龟雕像的后处理阶段如图 所示。
(a) 扫描完成时的网格数据结构。 黑色斑点是由于未检测到的异常点和不正确的法线造成的，而不是孔洞。

(b) 来自网格的数据显示为三角距离图像，每个图像都具有不同的颜色。 为了清楚起见，我们仅显示每十分之一的范围图像。

© 距离图像已与全局配准算法对齐。 请注意，可见的恒定颜色区域较少（即扫描的相互渗透更多），表明已实现更好的对齐。

(d) VRIP 表面重建算法已用于生成单个合并表面。

7.总结

本文描述了一种新型 3D 模型采集系统，其设计成本低廉、快速且易于使用，并演示了原型实现的结果。 与以前的系统相比，我们的设计允许用户手动旋转物体，并在扫描物体时看到不断更新的模型，从而提供有关孔的存在和已覆盖的表面量的即时反馈。 该系统使用现成的组件并在当今的 CPU 上运行。 向用户提供实时反馈的能力已经产生整个模型采集流程的优势。

除了简化视图规划问题之外，事实证明，它在对齐失败后重新启动方面很有用，并促使采取积极的策略来拒绝异常值。 我们预计未来将致力于探索高数据速率和即时用户反馈如何影响 3D 扫描管道。 在此，我们仅对未来的工作提出一些想法； 更完整的列表可以在 [Rusinkiewicz 2001] 中找到。

这里描述的系统可以通过多种方式得到改善。 有些，例如获取纹理，会相对容易地合并到我们的管道中。 其他可能涉及硬件的变化，例如更高分辨率的相机和投影仪（用于更高质量的数据或更大的工作量），高速相机和投影仪（用于更快的允许运动），或多台相机或投影仪（用于更快的扫描和扫描）。 更好的覆盖范围）。

除了硬件的改进之外，一种可能的算法是通过提高 CPU 速度或定制硬件，麦克风的改进可能会提高实时合并和渲染算法的质量。 例如，如果 CPU 速度快一个数量级，则可以实现隐式表面重建算法（例如 VRIP），并提取多边形网格或使用体积渲染硬件以交互方式显示它。

另一个潜在的改进是允许管道使用后期阶段的可用数据来帮助早期阶段。 例如，边缘检测或跟踪中的模糊性可以通过查看其他范围图像，甚至查看累积模型来解决。 通过将整个管道置于概率框架中，人们可以通过置信度估计来维持多种假设，并尽可能延迟做出不可撤销的决策。 对于某些类别的对象，人们可能会考虑解决存在非刚性变形时的模型获取问题。

尽管我们当前管道的第一阶段（3D 扫描仪）可以处理变形，但对齐和合并阶段将需要相当大的改变。 最近有一些关于跟踪非刚性物体的工作[Costeira 和 Kanade 1998； 布雷格勒等人。 2000]，尽管其中大部分假设初始模型可用或者变形受到严格限制。 获取可变形模型对于捕捉人类动画特别有吸引力[Allen 等人。 2002]。

最后，我们注意到使用三角测量的一个主要好处 -基于系统的优点是它有可能扩展到许多不同的工作量。 人们可以想象将系统放大以扫描建筑物内部或电影布景，或将其缩小以用于工业检查或医学应用。 放大时的主要问题是基线的物理尺寸、投影仪发出足够的光（相对于环境光）以及相机和投影仪的景深。 当缩小尺寸时，主要的挑战将涉及焦点和衍射极限光。