monoavatar: Learning Personalized High Quality Volumetric Head Avatars from Monocular RGB Videos阅读

MonoAvatar: Learning Personalized High Quality Volumetric Head Avatars from Monocular RGB Videos

工作使用3DMM作为avatar表示，先看一下3DMM。。

全文核心就下面三张图片，因为昨天有点昏，没有理清楚，今天整理一下表情特征提取模块，头像表示模块的渲染细节还是和nerf很接近的。

左边predicting expression-dependent features模块解读：

首先，计算有表情、姿态参数的3dmm模型与静止模型之间的顶点迁移（相减）；

然后，光栅化迁移量至UV图像空间；

将光栅化结果用U-net网络进行处理，得到UV feature map；

最后将UV feature map采样回mesh顶点，作为最终的动态顶点特征。

下面接avatar表示。。。。

所以，再看看rasterizer原理。。。（去看了）

这个公式相当于是把mesh上特征映射到了查询点。