[CVPR-24] GaussianAvatars: Photorealistic Head Avatars with Rigged 3D Gaussians

zzl_1998

已于 2024-03-18 22:52:11 修改

阅读量2.1k

点赞数 28

文章标签： 3d 3DGS Avatar Talking Head 3D Gaussian

于 2023-12-19 00:10:26 首次发布

本文链接：https://blog.csdn.net/qq_40731332/article/details/134998808

版权

给定FLAME，基于每个三角面片中心初始化一个3D Gaussian（3DGS）；当FLAME mesh被驱动时，3DGS根据它的父亲三角面片，做平移、旋转和缩放变化；
3DGS可以视作mesh上的辐射场；
为实现高保真的avatar，本文提出一种蒙皮（binding）继承策略，在优化过程中，保持蒙皮对3DGS的控制；
本文贡献如下：
- 提出GaussianAvatars，通过将3DGS绑定至FLAME模型，实现可驱动的head avatars；
- 设计了一种蒙皮继承策略，使得在保持蒙皮控制的情况下，3DGS的新增和移除。

近期工作

Basic Design：基于NeRF的方法，输入4D坐标（x, y, z, t），输出密度和颜色。例如：K-Plane、4K4D等。这类方法虽然效果不错，但是无法显式控制内容；
Deformation MLP：学习静态标定空间，通过MLP将其他时间下的空间映射回标准空间；
Proxy geometry：
Liu等人 [25] 基于SMPL移动后的最近三角面片，将观察空间中的点warp回标定空间；
Peng等人 [34] 基于SMPL的骨架和神经蒙皮系数（neural blending weights）变形点；
前向变形（forward deformation）[13, 18, 20, 23, 48] 和cage-based deformation [54]；
不同于上述方法，本文将3DGS附着在三角面片上，并显式地移动他们，避免使用标定空间，并可使用mesh finetuning。

给定三角面片，本文计算：

对于对应的3DGS，在局部空间定义其位置 $\mu$ ，旋转矩阵 $r$ ，各向异性缩放系数 $s$ 。

本文将三角面片的缩放系数 $s$ ，嵌入到公式5和6中，使得3DGS的局部位置和缩放与三角面片的缩放相关。这使得全局定义的学习率可以适用于局部。

稠密：对于具有较大view-space positional gradient的3DGS，如果该点较大则拆分为两个，如果较小则复制一个新的；确保新3DGS和旧的足够近，这样可以将新点绑定至旧点对应的三角面片；
剪枝：在3DGS原有剪枝的技术上，确保每个三角面片具有至少一个3DGS。有些脸部区域（眼球）常被遮挡，很有可能由于剪枝，导致眼球部分的3DGS被去掉。

在蒙皮继承策略中，本文通过拆分和复制增加新的3DGS。理想情况下，新增的3DGS应该与面片相邻。但是经过优化后，无法保证他们相邻。为解决该问题，本文引入了位置正则项：

$\epsilon_{position}=1$ ，确保3DGS和它的父亲三角面片足够近。

如果某个3DGS相较于它的父亲三角面片更大，三角面片的小角度旋转，会在3DGS上被放大，导致伪影。为解决该问题，本文引入了放缩正则项：

$\epsilon_{scaling}=0.6$ ，确保3DGS不会太大。

其中， $\lambda_{position}=0.01$ 和 $\lambda_{scaling}=1$ 。这两项确保常被遮挡的区域（眼球、牙齿）可以被保留。

数据集：NeRSemble数据集上的9个目标，每个目标包含10种表情和16个视角。
测试：1）新视角生成（novel-view synthesis）；2）自重演（self-reenactment）；3）跨ID重演（cross-identity reenactment）。

关注