3D人脸开口说话——《Speech-Driven 3D Face Animation withComposite and Regional Facial Movements》解析

最新推荐文章于 2024-12-26 10:24:45 发布
最新推荐文章于 2024-12-26 10:24:45 发布
阅读量163 收藏
点赞数 1
分类专栏： 必读的关于GAN的论文 文章标签： 3d 数字人 虚拟人 ACMMM 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wenqiwenqi123/article/details/143919935
版权

1、综述

今天来看一篇论文，解决的问题是使用音频来驱动3D人脸开口说话，使得口型和表情能对应音频。

论文地址：https://arxiv.org/abs/2308.05428?context=cs

github地址：GitHub - wuhaozhe/audio2face_mm2023

作者认为一个人说话时候的口型和两个因素有关：全局的与音频无关的复合因素（比如每个人的特征、表情等等），以及局部的与音频较为相关的因素（嘴巴口型等等）。这两点作者认为以前的工作并没有很好地解决，因此本文核心创新点着重于解决这两个问题。

2、RELATED WORK

前面的introduction和related work我就直接跳过了，感兴趣的去看一下原文。

3、OBSERVATIONS OF 3D FACE ANIMATION

这里作者验证了the composite nature确实存在，也就是

了解本专栏 订阅专栏 解锁全文
ARTalk：通过自回归模型实现语音驱动的三维头部动画
A_D_I_D_A_S的博客
03-05 141
ARTalk: Speech-Driven 3D Head Animation via Autoregressive Model
论文总结：EXPRESSIVE SPEECH-DRIVEN FACIAL ANIMATION WITH CONTROLLABLE EMOTIONS
m0_46312382的博客
10-21 346
γt = γu,t + (γa,t − γa)" 表示最终的情感先验（γt）是由用户提供的情感条件（γu,t）和音频数据中的情感信息（γa,t）之间的组合构成。引入了一个情感控制模块，其中包括一个基于双 LSTM 的情感预测器，后跟一个嵌入层来生成情感相关的潜在特征，以及一个基于 CNN 的情感增强网络来增强 FLAME 参数的表达能力基于情感特征。通过与学习的嵌入矩阵相乘，将7维先验向量转换为128个情感特征向量，然后输入到由CNN块构建的情感增强网络中，实现情感引导的面部表情增强。
语音生成口型动画-SALSA With RandomEyes
ZhuanShuMing_K的博客
07-31 341
如果导入的模型，面部变形权重范围为0到1，会导致后续面部形变相差100倍！暂时没有好的解决方案。目前三可以通过Range of Motion参数调试！
口型动画论文解读1：《与汉语语音同步的三维人脸动画的研究》
yuanlulu的博客
04-13 723
这篇论文的成果中也有对表情的的实现。但是很可惜只是简单的表情演示，没有将表情和口型动画结合起来。完全可以增加一个情感分析模块，然后在口型动画中增加表情。
实时智能应答3D数字人搭建2
崎山小鹿的专栏
04-13 2612
这一次我们主要讲如何用虚幻5创造一个可以用facegood驱动的3D数字人
每日学术速递5.3
与君共勉，一起学习
05-05 907
标题：学习本地可编辑虚拟人作者：Hsuan-I Ho, Lixin Xue, Jie Song, Otmar Hilliges文章链接：https://arxiv.org/abs/2305.00121项目代码：https://custom-humans.github.io/摘要： 在本文中，我们提出了一种新颖的混合表示和端到端可训练网络架构来对完全可编辑和可定制的神经化身进行建模。我们工作的核心在于将神经场的建模能力与蒙皮网格的易用性和固有 3D 一致性相结合的表示。为此，我们构建了一个可训练
FaceFormer：语音驱动的3D面部动画与变形金刚
最新发布
12-26 304
Speech-driven 3D facial animation is challenging due to the complex geometry of human faces and the limited availability of 3D audio-visual data. Prior works typically focus on learning phoneme-level features of short audio windows with limited context, oc
EmoTalk: Speech-Driven Emotional Disentanglement for 3D Face Animation
m0_46312382的博客
10-13 1797
作者使用wav2vec 2.0来提取音频特征。对于情感分离编码器，引入了两个不同的音频特征提取器，并分别用于为内容和情感提取两个单独的潜在空间，用于解耦情感和内容。在这个解码器中，通过使用 Transformer 模块进行解码，该解码器接收多种不同类型的特征作为输入，然后输出 52 个情感增强的混合形状系数，以表示最终的面部表情。3.由于3D情感说话人脸的数据较少，我们借助面部混合形状的监督，从2D情感数据中重建出可信的3D人脸，并提供了一个大规模的3D情感说话人脸数据集（3D-ETF）来训练网络。
【论文阅读】DiffSpeaker: Speech-Driven 3D Facial Animation with Diffusion Transformer
weixin_57974242的博客
03-17 1902
语音驱动的3D面部动画，可以用扩散模型或Transformer架构实现。然而它们的简单组合并没有性能的提升。作者怀疑这是由于缺乏配对的音频-4D数据，这对于Transformer在扩散框架中充当去噪器非常重要。为了解决这个问题，作者提出DiffSpeaker，一个基于Transformer的网络，设计了有偏条件注意模块，用作传统Transformer中自注意力/交叉注意力的替代。融入偏置，引导注意机制集中在相关任务特定和与扩散相关的条件上。还探讨了在扩散范式内精确的嘴唇同步和非语言面部表情之间的权衡。
基于GAN的说话人驱动：talking face generation解读
idol24的博客
01-13 3052
来源：知乎—吴海波 侵删https://zhuanlan.zhihu.com/p/429965015最近和团队的小伙伴@swwei 做点了talk face generation的工作，...
Data-Driven 3D Facial Animation
11-23
Computer Facial Animation Expressive Visual Speech Generation Data-Driven Expressive Speech Animation Synthesis and Editing Eye Movements, Saccades, and Multiparty Conversations Realistic Eye Motion Synthesis by Texture Synthesis Learning Expressive Human-Like Head Motion Sequences from Speech A User Interface Technique for Controlling Blendshape Interference Sketching Articulation and Pose for Facial Animation Speech Motion Decomposition and Editing
FACIAL：更可控的说话人驱动
idol24的博客
09-06 689
点击上方“机器学习与生成对抗网络”，关注星标获取有趣、好玩的前沿干货！来源：AI科技评论本文是对发表于计算机视觉领域的顶级会议 ICCV 2021的论文“FACIAL: Synthesiz...
语音驱动的口型同步算法文献汇总
dakenan1的博客
08-22 4206
论文一：语音驱动的口型同步算法 核心工作：提出一种口型动画同步算法，预先定义基本口型动作集合，通过权重线性混合构成口型动画和过渡动画，最终拼接得到完整口型动画。 音素：输入的语音信号首先被转化为由一串发音单元构成的序列，这些发音单元成为音素。 视素：序列中的音素会被映射到一个口型动作单元上，这些口型动作单元成为视素。 协同发音： 1. 难题：除了当前正在发音的音素外，该音素之前或之后的一些音素也会...
Landmark Assisted CycleGAN for Cartoon Face Generation论文阅读
程序员养成日记
10-20 444
通过在真实人脸和卡通人脸之间使用不成对的训练数据来生成人的卡通图片。 挑战： 真实和卡通人脸的结构属于两个不同的领域，外观相差很大。如果没有明确的对应关系，很难捕捉基本面部特征，并生成高质量卡通图片。 解决： 提出Landmark Assisted CycleGAN，利用面部标志特征来定义一致性损失，指导在cycleGAN中训练局部鉴别器。 这个过程主要分为三步，首先生成器根据cycleGAN生成一张粗糙的卡通人脸；随后，模型根据第一步生成的图像，生成一个预训练回归量来预测面部landmark，对面
论文阅读：Talking Face Generation by Adversarially Disentangled Audio-Visual Representation
tobale的博客
05-19 4073
转载请注明本文出处，谢谢。 论文链接：Talking Face Generation by Adversarially Disentangled Audio-Visual Representation 代码：GitHub 视频：Video 这是一篇AAAI 2019的文章。文章的题目是通过对抗分解语音和视频的表征来生成说话的人脸。 1. Introduction 一个人脸正在...
【零基础】speech driven animation中文安装使用指南
布兰姥爷的博客
07-07 2327
换了Ubuntu各种顺利！s3fd_convert.pth、2DFAN-4.pth.tar这两个文件放到“/home/XXX（这里根据实际情况填写）/.face_alignment/data/”目录下（可搜索.face_alignment找到此目录），文末附下载方式。va.save_video(vid, aud, "/home/XXX（这里根据实际情况填写）/speech-driven-animation/example/test.mp4") //这里要写完整的路径，不要问为什么，反正不这么写就报错。
新冠全球曼延风险等级攀升，阿里“生物特征识别多模态融合”价值凸显
Python爱好者的专栏
03-07 2036
新冠全球曼延风险等级攀升，阿里“生物特征识别多模态融合”价值凸显 2月28日，世卫组织总干事谭德塞在日内瓦宣布，将新冠肺炎全球风险级别提高为“非常高”。而此前这一风险等级一直为“高风险”。谭德塞表示，鉴于目前新冠肺炎在全球多个国家蔓延，中国境外已有4351例病例，且有越来越多国家出现疫情，故提高新冠肺炎全球风险级别。由于25日以来中国境外上报的新冠肺炎新增病例数均超过中国境内新增病例数，伊朗、意...
深度学习——GAN（生成网络）损失函数解析
热门推荐
wenqiwenqi123的博客
03-25 1万+
生成网络（GAN）是近年来很火的课题，原始论文《Generative Adversarial Nets》的介绍请移步：https://blog.csdn.net/wenqiwenqi123/article/details/86178376 本篇主要详细解析它的损失函数。在论文中损失函数定义为： 当然乍一看去，没看懂这个损失函数。我们细细来看： ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

哎呦不错的温jay

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值