干货！基于谱字典的三维网格表征学习

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

三维网格用于建模有着统一拓扑结构的三维人脸 、人体或者人手等，广泛地应用于三维计算机视觉和图形学，比如三维人脸重建，三维人脸生成和驱动，人脸识别等。网格是不规则的，因为每个顶点的邻域都是无序的，并且它们的方向与其他顶点不一致。以前的方法使用各向同性卷积核或预定义的局部坐标系或学习模板每个顶点的权重矩阵来克服不规则性。学习每个顶点的加权矩阵，将顶点的邻域软置换成隐式的规范序，是捕捉每个顶点局部结构的有效方法。然而，学习每个顶点的权重矩阵会随着顶点数量的增加而线性增加参数大小，高分辨率3D形状需要大量参数。在本文中，我们学习加权矩阵的谱字典（即基），使得参数大小与三维形状的分辨率无关。每个顶点的加权矩阵基的系数以权重共享的方式从模板顶点及其邻域的光谱特征中学习。综合实验表明，我们的模型以更小的模型尺寸产生最先进的结果。

本期AI TIME PhD直播间，我们邀请到上海交通大学博士后——高忠派，为我们带来报告分享《基于谱字典的三维网格表征学习》。