Neural3DMM与螺旋卷积

《Neural 3D Morphable Models: Spiral Convolutional Networks for 3D Shape Representation Learning and Generation》

本文介绍了一种固定拓扑3D可变形形状的表示学习和生成框架。利用螺旋卷积这种网格卷积算子，建立网格自编码器和GAN结构。

螺旋卷积

M = (V,E,F) 是一个三角网格
V = {1,…,n} 顶点
E 边
F 人脸
f : V → R vertex-wise features（顶点方面的特征）

在图像或网格中生成一个算子，关键的挑战是缺乏一个向量空间结构，和一个可以与每个点关联的全局坐标系统。

GCNN、ACNN或MoNet通过在网格的每个顶点 i 周围构造一个局部坐标系 u_ij 来克服这个问题，其中一组局部加权函数 w₁，…， w_l 用于聚合来自相邻顶点 j 的信息。这样就可以定义“patch操作符”来生成图像中的滑动窗口滤波。在欧氏集合中，局部坐标可以被全局坐标识别。

后半部分求和是 ‘soft pixels’，共有L个（什么意思？？）
f 类似于图像中的像素强度
g_l 滤波器权重

构建patch操作符有两个难点：

1. 一致性，即对网格划分不敏感。理想情况下manifold上的坐标系应该独立于它的离散方程。
2. 缺乏规范的参考系。通常一个patch在表面上可以有多个方向。