[CVPR-24] SplattingAvatar: Realistic Real-Time Human Avatars with Mesh-Embedded Gaussian Splatting

最新推荐文章于 2024-07-20 09:51:47 发布

zzl_1998

最新推荐文章于 2024-07-20 09:51:47 发布

阅读量547

点赞数 11

文章标签：算法 3DGS avatar 数字人

本文链接：https://blog.csdn.net/qq_40731332/article/details/138254345

版权

提出一种基于3DGS的虚拟人表示方法SplattingAvatar，在3090Ti/iPhone13上实现300FPS/30FPS渲染；

形变策略

SplatttingAvatar定义了一套新的Gaussians和FLAME绑定方法：

SplattingAvatar通过FLAME驱动Gaussians，Gaussian的形变由所对应的三角面片计算。
Gaussian位置通过 $(k,u,v,d)$ 定义，其中k代表Gaussian所对应的三角面片，(u, v)是Gaussian在三角面片上的重心坐标，d表示Gaussian沿着法向量的位移。
Gaussian的其他变量定义为 $(\bar{q}, \bar{s}, o, c)$ ，分别表示Gaussian的旋转四元数、缩放系数、不透明度和颜色。
Gaussian与三角面片的对应关系并不固定，可能会移动到其他三角面片。

具体来说，任意Gaussians可以表示为：

坐标：miu = P + d * n，P是Gaussians在三角面片上的位置（根据重心坐标和所在三角面片的三个顶点位置插值计算），n是在该位置上的法向量，d是沿着法向量的位移。具体计算如下，其中V1, V2和V3表示三角面片三个顶点的坐标，n1, n2和n3表示顶点的法向量。

旋转：1）计算标定空间和形变空间中三角面片的旋转矩阵（公式4）；2）对任意顶点，以顶点相邻三角面片的面积作为权重系数，对顶点相邻三角面片的四元素做加权和，求得顶点的四元数（公式5）；3）Gaussians的四元数根据重心坐标和所在三角面片三个顶点四元数插值计算（公式6和公式7）。

包括图片监督损失和高斯缩放约束损失
图片监督损失包括渲染图像和GT图像间的L1和perceptual loss；
高斯缩放约束损失，其中 $\hat{s_i}$ 和 $\check{s_i}$ 是最大和最小放缩系数，如果太长（大于 $T_s$ ）或太细（大于 $T_r \check{s_i}$ ），则会施加约束：

包含两个操作：WalkOnTriangles和ReExpress；
WalkOnTriangles首先根据当前所在位置P和更新值，计算更新后所在位置Q。如果Q在三角面片内，则返回Q，如果Q不在三角面片内，则执行ReExpress；
ReExpress更新Gaussian对应的三角面片，返回新的位置P和更新值。

关注