设计一个适合三维网格重建的卷积神经网络

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

普通的神经网络不适用于比较大的网格（因为参数会过多），而传统的卷积神经网络又没法应用在拥有不规则结构的三维网格上。因此，我们把传统的卷积神经网络加以改进，使其可以拓展到任意结构的网格上。和近年来出现的许多其他的网格（图）卷积神经网络相比，我们的网络能更好地重建全局和局部信息，拥有更强大的生成能力，并且支持所有诸如上下采样的传统卷积神经网络所拥有的操作。

周易：本科和硕士毕业于上海交通大学，导师是肖双九，2020年博士毕业于南加州大学，导师是黎颢（Hao Li）。主要研究3D虚拟人类合成。现就职于Adobe  Research。

一、三维网格重建的意义与现状

通过计算机来创造虚拟、智能且拥有自主行为的三维的或真实或卡通的人物涉及了Digital Human以及Autonomous 3D Characters等技术。实现这一目标，首先需要把真实事件中获取的信息在虚拟的三维世界中重新还原为人形。然后，当获得了虚拟的人类或者卡通角色的外壳之后，让他们自主的行动起来。

但不论是三维模型重建和渲染，亦或者是运动的合成都有着同一个问题，那就是哪一种Representation可以用来表示三维时空信息，并且这些数据又应该采用怎样的深度学习网络结构去处理呢？这就引出了本次的主题Deep Representation Learning。

本次分享文章的题目是Fully Convolutional Mesh Autoencoder using Spatially Varying Kernels。这篇论文的主要目的是如何在mesh数据上做一个fully convolutional autoencoder。

是什么促成了这个研究的产生呢？在Digital human的研究过程中，会获得大量的真实人体模型。之后通过一系列算法把模型处理成registered 3D mesh，其特征是拥有这相同的拓扑结构、相同节点数和连接关系，但是形状具有差别的一系列3D网络模型。

以上图所展现的人群为例，第一步：获得其registered 3D mesh；第二步：从这些数据中获得一个低维的latent code；第三步：通过获得的latent code生成新的三维人体模型。在过去的方法中，主要采用PCA来实现以上过程，但是其缺陷也很明显，会丢失很多细节。

随着技术的发展，越来越多的人尝试通过Deep Learning获得latent