三角网格去噪-Fast Mesh Denoising With Data Driven Normal Filtering Using Deep Variational Autoencoders笔记

Fast Mesh Denoising With Data Driven Normal Filtering Using Deep Variational Autoencoders 论文阅读笔记

这篇文章提出了一个快速且鲁棒的网格去噪算法，用于工业中用扫描仪扫描的3D网格模型去噪。

去噪算法的流程基本上与当前主流的方法一致，即先对网格的法向量进行去噪，然后根据去噪后的法向量调整网格的顶点位置。对于网格的顶点位置的调整，目前已经有非常成熟的方法，所以在当前网格去噪的研究中，核心是对网格法向量的去噪。

法向量去噪的好坏，将极大的影响网格的去噪效果。先前在法向量去噪上已经有大量的传统方法，但传统的方法不可避免会高度依赖参数的选择。且由于人们对某些事物认知的局限性，故不可能在设计算法的过程中兼顾所有的因素。

本文章用当下火热的深度学习方法对网格的法向量数据进行学习，以期待得到一个端对端的法向量去噪模型。而不同于以往的基于学习的网格去噪算法，本文章在利用学习到的网格去噪模型对数据进行测试后，用传统的双边法向滤波对测试结果进一步处理，得到了SOTA的结果。

1 算法

本算法首先对三维网格进行数据预处理，然后将数据放到CVAE中进行训练得到初步去噪后的法向量，再通过双边法向滤波做最后的去噪处理。

算法框架如下：

1.1 数据预处理

将三维数据作为神经网络的输入，一直都是一个比较困难的问题。

不同于二维图像数据，三维网格数据具有分布不均匀的特征，以至于很难将这些作为深度神经网络的输入。 为了解决这个问题，本文对三维网格数据进行了预处理。具体处理方式如下：

• 首先，对于网格中的每个面片${\mathcal{F}}_i$，定义其重心为$c_i$。对于每个面片${\mathcal{F}}_i$，对其重心$c_i$与其他面片${\mathcal{F}}_j$（包括${\mathcal{F}}_i$）的重心$c_j$的距离$d_{ij}$进行从小到大排序，选出前$N$个面的法向量构成一个数据块${\mathcal{P}}_i$。
  $${\mathcal{P}}_i=\left[\begin{array}{c}{n}_{i,1}\\ n_{i,2}\\ ⋮\\ n_{i,N}\end{array}\right]\text{\hspace{1em}(3)}$$

• 由于训练的数据量较小，为了提高训练效率，需要对每个数据块${\mathcal{P}}_i$做旋转变换$R_i$，让每一个数据块的法向量都一致。首先定义数据块${\mathcal{P}}_i$的法向量$n_f$为：
  $$n_i=\frac{1}{N}\sum _{j\in {\mathcal{P}}_i}{A}_i{n}_{i,j}$$
  其中，$A_i$为面片${\mathcal{F}}_i$的面积。定义$n_0=(0,1,0)$，${\delta }_i$为$n_0$与$n_i$的夹角。将数据块${\mathcal{P}}_i$绕着$n_i\times n_0$旋转${\delta }_i$后得到旋转后的数据块${\mathcal{P}}_i^{\prime }$。即：
  $${\mathcal{P}}_i^{\prime }=R_i{\mathcal{P}}_i$$

1.2 CVAE

条件变分自编码器是一种带标签的变分自编码器，而变分自编码器是一种常见的生成模型。之所以在变分自编码器的基础上加上标签，是为了让编码器的输出是我们想要的某个类别。至于条件变分自编码器的原理以及其发展历程，可以参考这篇文章。

具体框架如下：

首先对数据按照1.1的步骤进行预处理，得到${\mathcal{P}}_i^{\prime }$。为了能够对每个数据块进行分类（作为CVAE的输入），需要对数据块${\mathcal{P}}_i^{\prime }$中的每一个法向量进行处理如下处理:
$$n_{i,j}^{\prime }=(n_{i,j}+1)/2$$
即将三维网格的面片法向量转化为不严格的normal map。为什么说不严格呢？因为我们之前已经对数据块做了旋转变换，所以相同特征（高曲率、底曲率、平整、尖锐等）的数据块会具有相同的颜色特征。而对于严格意义的normal，在相同特性下不一定会有相同的颜色特征。

如图所示，对于平整的区域，都表现为黄色，这是因为对齐后的$n_i^{\prime }$几乎等于(0,1,0)，故表现为黄色。

对于数据块的分类，可以采用K-means，经过分类后，就得到了标签Y。

对数据进行处理完后，就可以愉快地交给计算机去计算了。

在本问题中，CVAE的网络结构较为简单。其包含高斯编码器和伯努利解码器。

对于高斯编码器，其输入为标签$Y$和网格噪声数据$X$构成的数据$X_{in}$。接下来通过两个全连接层（每个全连接层后伴随着leaky relu层以及dropout层），最后经过一个全连接层得到隐空间。
$$\begin{array}{rl}{\mathbf{X}}_{\text{in }}& =\left[\mathbf{Y}|\mathbf{X}\right]\\ {\mathbf{Y}}_{E_{H_1}}& =\max \left(0,{\mathbf{X}}_{\text{in }}{\mathbf{W}}_{E_{H_1}}+{\mathbf{B}}_{E_{H_1}}\right)\\ {\mathbf{Y}}_{E_{H_2}}& =\max \left(0,{\mathbf{Y}}_{E_{H_1}}{\mathbf{W}}_{E_{H_2}}+{\mathbf{B}}_{E_{H_2}}\right)\\ \mathbf{Y}& =\max \left(0,{\mathbf{Y}}_{E_{H_2}}{\mathbf{W}}_{E_{H_3}}+{\mathbf{B}}_{E_{H_3}}\right)\\ \mathbf{\mu }& =\left[{\mathbf{y}}_1{\mathbf{y}}_2\right],\mathbf{\sigma }=\left[{\mathbf{y}}_3{\mathbf{y}}_4\right]\\ \mathbf{Z}& =\mu +\sigma \cdot \mathcal{N}(0,1)\end{array}$$
对于伯努利解码器，先从隐空间中根据标签Y进行采样得到$Z$，让后伴随着两个全连接层（每个全连接层后伴随着leaky relu层以及dropout层），最后经过一个全连接层以及sigmoid得到去噪结果$X_{out}$。
$$\begin{array}{rl}\mathbf{Z}& =\left[\mathbf{Y}|\mathbf{Z}\right]\\ {\mathbf{Y}}_{D_{H_1}}& =\max \left(0,\mathbf{Z}{\mathbf{W}}_{D_{H_1}}+{\mathbf{B}}_{D_{H_1}}\right)\\ {\mathbf{Y}}_{D_{H_2}}& =\max \left(0,{\mathbf{Y}}_{D_{H_1}}{\mathbf{W}}_{D_{H_2}}+{\mathbf{B}}_{D_{H_2}}\right)\\ {\mathbf{X}}_{\text{out }}& =\sigma \left({\mathbf{Y}}_{D_{H_1}}{\mathbf{W}}_{D_{H_2}}+{\mathbf{B}}_{D_{H_2}}\right)\end{array}$$
得到最终的$X_{out}$后，需要做一个旋转变换$R^{-1}$。

最后将旋转后的法向量放入双边法向滤波中进行去噪。

1.3 loss

本网络采用的loss是变分下界误差（ELBL）。
$$\mathcal{L}=H\left({\mathbf{X}}_{\mathrm{G}\mathrm{T}},{\mathbf{X}}_{\mathrm{o}\mathrm{u}\mathrm{t}}\right)+D_{KL}(\mathbf{\mu }\Vert \mathbf{\sigma })$$
$H(\ast )$为交叉熵，$D_{KL}$为KL散度。

2.结果

2.1.评估

采用Ground truth和去噪后的模型的平均法向夹角来评估去噪效果的好坏。

可以看出，本文提出的方法最优。

2.2 速度

本算法不仅去噪效果好，而且去噪的时间也比目前的好的方法要快。结果如下表所示：

2.3 工业界的使用效果

在工业中，对一些物体进行扫描不可避免会含有噪声。对于物体缺陷的检测，如果噪声过多，就会影响检测结果。本文的去噪方法可以很好的解决这个问题。

如图，对去噪后的模型进行缺陷检测，基本和Ground truth一致。

3.优点与不足

3.1 优点

• 将去噪问题转化为分类问题，有助于更好地进行网格去噪。
• 算法可以用于工业界的一些任务中。

3.2 缺点

文章并没有对为什么用CVAE做解释，也没有说明为什么在训练后，要跟一个双边法向滤波。 可解释性较差。不过，对于CVAE的网络结构，仍有很大的改进空间。