Occupancy Networks 是一种基于Occupancy表示的可微分模型,它在与其他3D表示技术(例如点云、体素和三角面片)的比较中,展现出显著的优势:
- 可微分性:Occupancy Networks 能够无缝地融入深度学习模型中,支持梯度下降等优化技术。
- 隐式表示:它能够精确地捕捉到任意形状的物体,而无需直接存储表面网格信息。
- 内存效率:相对于传统方法,Occupancy Networks 在表示复杂形状时,可以显著减少内存的使用。
在自动驾驶领域,Occupancy Networks 被应用于环境感知模型的构建,用以预测道路上的障碍物和其他物体。而在数字人领域,则用于创建3D人体模型,这在动画、游戏和其他多媒体应用中具有广泛的用途。
3D表示技术的概述:
- 点云:由一系列3D点构成,每个点标示物体表面的一个特定位置。
- 体素:通过将3D空间划分成一系列规则的小格子来表示物体的占用情况,每个格子代表一个体积单位内的物体存在状态。
- 三角面片:利用一系列三角形来模拟物体表面,每个三角形覆盖物体表面的一小部分。
而对于3D的隐式表示,包括:
- Occupancy fields:描述空间中每个点是否被占用的状态。
- Signed distance fields (SDF):记录空间中每个点到物体表面的距离。
- Neural radiance fields (NeRF):表示每个点在特定视角和光照条件下的颜色与亮度。
空间场指的是一种将空间中的点映射到特定属性(如标量、向量等)的函数。例如,温度场将点映射到温度值,而重力场则映射到重力强度。
Occupancy Networks 的实现方式:
- Voxel Occupancy Networks:通过划分3D空间为规则的格子,并使用神经网络预测每个格子的占用状态。
- Point Occupancy Networks:利用神经网络来预测空间中每个3D点的占用情况。
- Implicit Occupancy Networks:采用神经网络预测空间中每个点的占用概率。
总体而言,Occupancy Networks 代表了3D表示技术中的一项创新,凭借其可微分性、隐式表示能力和高内存效率,已在自动驾驶、数字人形象构建等领域找到了实际应用,并展现出广泛的应用前景。
Signed Distance Function (SDF)
Signed Distance Function(SDF)又称为“有符号距离函数”,我们通常用来定义一个对象的SDF。
SDF表示一个给定点到一个物体的最近表面的有符号距离,同时点和表面之间分布在物体内外,点在表面内部则距离为负。
SDF的数学定义如下:
SDF(x) = s : x ∈ ℝ³, s ∈ ℝ.
这里x是一个三维空间,代表三维空间中的点,s是一个值。也就是说SDF函数上定义空间中的点到对象表面的有符号距离,也就是每个点都有一个值s,这里s表示一个给定点到物体表面的小距离。
相应的,s < 0则表示x在物体内部,s > 0表示x在物体外部,s = 0表示x在物体上。我们通常可以用SDF(x) = 0来表示一个物体表面。
好的,下面是将图片内容转换为Markdown格式的文本:
Occupancy Field (占用场)
占用场是一个将空间点映射为占有概率(占用场是在世界坐标中),属于神经几何学的范畴,比如说Neural Surface Field。
占用场的数学定义如下:
F(p) = s : p ∈ R^3, s ∈ R.
这里的p是空间中的点,s是一个介于0和1之间的实数。可以看到占用场的定义与传统的距离场如SDF是一致的,但和SDF的区别在于,SDF中s表示的是空间点到几何体表面的距离,而占用场的s的取值是[0, 1],即表示在0,1之间,所以占用场是将一个三维空间的点映射到[0,1],即:
F : R^3 → [0, 1]
占用场将s值定为0.5为标准,即s大于0.5表示该点位于几何体内部,s小于0.5表示该点位于几何体外部,s等于0.5则位于几何体上。所以我们可以用 F(p) = 0.5
来定义一个连续的三维占有场中的一个曲面。
神经辐射场(NeRF)
神经辐射场(NeRF)是一种通过学习连续的体积场景表征来合成复杂场景的新视图的方法。NeRF以其令人印象深刻的结果彻底改变了3D重建和视图合成领域。
神经辐射场的核心是一个将空间位置和观察方向映射到颜色和密度的函数,这些是渲染3D场景的关键要素。这个映射函数 ( F ) 可以表示为:
F(x, y, z, d) → (R, G, B, σ)
在此函数中:
- ( x, y, z ) 代表空间坐标,
- ( d ) 代表观察方向,
- ( R, G, B ) 代表该空间点和该方向由函数生成的RGB颜色,
- ( sigma ) 代表该点的体积密度,决定了光通过时被吸收的程度。
通过利用体积内光和颜色的属性,神经辐射场能够从任意视点渲染出高度真实的图像,有效地将充满数据的空间转变成一个“神经场景”,充满了光辉和色彩。