DMTet 阅读笔记

duoyasong5907

已于 2023-02-27 10:21:37 修改

阅读量2.4k

点赞数 3

分类专栏： AI与ML 文章标签：深度学习

于 2023-02-03 09:21:28 首次发布

本文链接：https://blog.csdn.net/duoyasong5907/article/details/128860826

版权

介绍

主页 https://nv-tlabs.github.io/DMTet/
论文pdf https://nv-tlabs.github.io/DMTet/assets/dmtet.pdf
视频汇报 https://slideslive.com/38967642/deep-marching-tetrahedra-a-hybrid-representation-for-highresolution-3d-shape-synthesis?ref=homepage
疑似代码在nvdiffrec项目下的工具代码
用DMTet恢复点云 https://github.com/NVIDIAGameWorks/kaolin/blob/master/examples/tutorial/dmtet_tutorial.ipynb
列表包含两个DMTet的demo https://kaolin.readthedocs.io/en/latest/notes/tutorial_index.html

DMTet的全称为Deep Marching Tetrahedra，是MT(Marching Tetrahedra)算法的深度学习版本。顾名思义，它与MT算法有共通之处，而它又是基于深度学习（Deep）的方法。整个论文的各个步骤都是端到端的、可微的，因而可以被反向梯度重传所训练。

从概览图可知，输入可以使点云或者粗voxel，算法会先细分生成隐式表达SDF，再用MT算法生成显式表达，最后得到模型参数表面(Parametric Surfaces)。

请添加图片描述

利用崭新的混合3D表达方式，DMTet能集合隐式和显式的3D表达。

当前的隐式表达方法的做法，大多是被训练来拟合signed distance values。相比于它们，本论文直接优化重建的表面，从而能够用更少的物体来合成更细微的几何细节
当前的显式表达方法的做法，大多是3D深度生成模型，直接生成显式表达，比如mesh。本论文能够合成有任意拓扑的物体形状。

论文使用了以可变形的四面体编码的SDF来表示形状。网格将每个立方体给四面体化，每个单位都是有4个点和边的四面体。

本文利用了Gao的思路，用一组四面体来表示物体。每个四面体都由4个顶点的坐标来表示。每个顶点 $v_i$ 的SDF值为 $s(v_i)$ 。其内部任意一个点的SDF值为4个顶点的重心插值。

本文会从粗到细地表示物体形状。本文定义了“表面四面体” $T_{surf}$ ，其判断方式为，看这个四面体的四个顶点是否有不同的SDF符号——如果符号不同，说明这个四面体与物体表面相交。本文细分了 $T_{surf}$ 和它的直接邻居，并通过在每条边上添加中点的方式增加分辨率。

下图是一个表面四面体（蓝色），在添加中点后，会被分为8个四面体（红色）。比如图中红色箭头所指的节点 $v^{'}_{ac}$ ，它的坐标是线段ac的中点，而SDF值为两者的平均值。

Figure 2: 物体细分: 每一个表面四面体，在添加中点后，会被分为8个四面体

本文使用MT算法将编码的SDF转换为显式的三角形mesh。给定四面体顶点的SDF值 ${ s(v_a),s(v_b),s(v_c),s(v_d) \}$ ，MT会根据 $s (v)$ 的符号决定四面体内部的表面拓扑形状，如下图所示。

如何理解第一句？比如下图：

第一种情况，4个节点的SDF符号都相同，都为正或者负，共2种情况。在这种情况下，物体表面并没有与该四面体相交，所以不需要提取mesh了。
第二种情况，4个节点的SDF符号有两个正和两个负，符合这个类别的符号情况有6种（四面体有6条边，每条边上的两个顶点都为负，视为一种情况，有6条边就有6种情况）。
第三种情况，符合这个类别的符号情况有8种（3正1负有4种，3负1正也有4种）
·
三种情况加起来是2+6+8=16种情况。

如何理解第二句？我们看到，第一种情况下没有物体表面需要提取。第二、三种情况下，本文会猜测紫色的表面是那个物体表面，该表面的顶点都坐落在四面体边上。

以第三种情况为例， $v_a$