《Neural 3D Morphable Models: Spiral Convolutional Networks for 3D Shape Representation Learning and Generation》
本文介绍了一种固定拓扑3D可变形形状的表示学习和生成框架。利用螺旋卷积这种网格卷积算子,建立网格自编码器和GAN结构。
螺旋卷积
M = (V,E,F) 是一个三角网格
V = {1,…,n} 顶点
E 边
F 人脸
f : V → R vertex-wise features(顶点方面的特征)
在图像或网格中生成一个算子,关键的挑战是缺乏一个向量空间结构,和一个可以与每个点关联的全局坐标系统。
GCNN、ACNN或MoNet通过在网格的每个顶点 i 周围构造一个局部坐标系 uij 来克服这个问题,其中一组局部加权函数 w1,…, wl 用于聚合来自相邻顶点 j 的信息。这样就可以定义“patch操作符”来生成图像中的滑动窗口滤波。在欧氏集合中,局部坐标可以被全局坐标识别。
后半部分求和是 ‘soft pixels’,共有L个(什么意思??)
f 类似于图像中的像素强度
gl 滤波器权重
构建patch操作符有两个难点:
- 一致性,即对网格划分不敏感。理想情况下manifold上的坐标系应该独立于它的离散方程。
- 缺乏规范的参考系。通常一