论文阅读: [3d]Audio-driven Talking Face Video Generation with Learning-based Personalized Head Pose

已于 2022-01-19 08:31:42 修改
阅读量1.5k 收藏
点赞数
分类专栏： 论文阅读 文章标签： 论文阅读
于 2021-07-14 20:03:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/landing_guy_/article/details/118731775
版权

文章目录

contributions

  1. Propose a neueal network model that can transfer an audio signal of source person into a talking face video of target person with head pose and lip synchronization

  2. Memory-argmented GAN module can generate photo-realistic video frames for various face identities

  3. After training a general mapping based on a publicly dataset, a new short video can be used to fine-tune the mapping so it can fit any person

live_for_myself
关注
专栏目录
学术速递4 | 谷歌混合精度量化 | 清华语音人脸视频生成 | 谭铁牛步态识别对抗攻击 | 北大点云数据
Small_cainiao的博客
02-28 1572
​几篇近期的paper： 清华：音频驱动的具有自然头部姿势的语音人脸视频生成 谭铁牛：对步态识别的时间稀疏对抗性攻击 Google Brain：无需专用硬件加速的混合精度量化 北大：SemanticPOSS-具有大量动态实例的点云数据集 1. 清华：音频驱动的具有自然头部姿势的语音人脸视频生成 类似于AI虚拟主播，根据声音生成视频，嘴型和头的姿态越来越自然……Fake News批量化生产...
语音合成论文优选：多模态Text2Video: Text-driven Talking-head Video Synthesis with Phonetic Dictionary
低调奋进
05-18 1509
声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 Text2Video:Text-driven Talking-head Video Synthesis with Phonetic Dictionary 本文是Baidu Research, USA在2021.04.29更新的文章，主要工作为多模态的talking-head,把text转成video，具体的文章链接 https://arx.
Audio-driven-TalkingFace-HeadPose:“基于学习的个性化头姿势的音频驱动的有声面部视频生成”的代码
05-02
基于学习的个性化头姿势的音频驱动的会说话的面部视频生成 我们为arxiv论文“基于学习的个性化头部姿势的音频驱动的有声面部视频生成”（ ）提供PyTorch实施。 请注意，此代码受专利保护。 仅出于您的大学（研究机构）的研究目的。 如果您对商业目的/营利目的感兴趣，请联系刘教授（通讯作者，电子邮件： ）。 我们提供了一个演示视频（请在此页面中搜索“ Talking Face”，然后单击“演示视频”按钮）。 我们的拟议框架 先决条件 Linux或macOS NVIDIA GPU 的Python 3 的MATLAB 入门 安装 您可以创建一个虚拟环境，并通过以下方式安装所有依赖项： pip install -r requirements.txt 下载预训练的模型 包括预训练的通用模型和面部重建，身份特征提取等所需的模型 从（提取代码：usdm）或下载，然后复制到相应的子文件夹（
Audio-driven Talking Face Video Generation with Learning-based Personalized Head Pose （译文）
weixin_41967328的博客
11-17 2127
链接 Arxiv： https://arxiv.org/abs/2002.10137 Video： https://www.bilibili.com/video/BV15f4y1t7FD/ 摘要 现实世界中会说话的面孔通常伴随着自然的头部运动。然而，大多数现有的谈话人脸视频生成方法只考虑具有固定头部姿势的面部动画。在本文中，我们提出了一个深度神经网络模型来解决这个问题，该模型将源人物的音频信号a和目标人物的非常短的视频V作为输入，并输出具有个性化头部姿势（利用V中的视觉信息）、表情和嘴唇同步的合成高质量对话
利用Audio-driven TalkingFace HeadPose打造生动的音频驱动面部动画
最新发布
gitblog_00046的博客
04-13 443
利用Audio-driven TalkingFace HeadPose打造生动的音频驱动面部动画 去发现同类优质开源项目:https://gitcode.com/ 本文将向您推荐一个令人惊叹的开源项目——。这是一个基于深度学习的框架，能够实时地将语音转化为逼真的面部动作，从而创建出与音频同步的“说话”头像。让我们深入了解它的技术原理、应用场景以及独特之处。 项目简介 Audio-driven Ta...
【论文笔记】GeneFace: Generalized and High-FidelityAudio-Driven 3D Talking Face Synthesis
weixin_50862344的博客
06-07 1771
（3）然而，由于生成的标志（多说话人域）和NeRF训练集（目标人域）之间的域转移，我们发现基于NeRF的渲染器在给定预测的地标的情况下无法生成高保真的帧。每一个三维的人脸，可以由一个数据库中的所有人脸组成的基向量空间中进行表示，而求解任意三维人脸的模型，实际上等价于求解各个基向量的系数的问题。蒙特卡罗ELBO不依赖于解析计算，而是通过随机采样的方式进行估计，优点是可以应用于各种复杂的概率模型，不受解析计算的限制。代替基于回归的模型，作为音频到运动模型的结构，有助于生成准确且富有表情的人脸运动。
【论文阅读】AvatarCLIP: Zero-Shot Text-Driven Generation and Animation of 3D Avatars
Blueekyyy
09-25 1146
本文通过输入形状shape、外观appearence、动作motion的自然语言来生成一个3D Avatar，该3D Avatar可以做动作，优势在于便于外行用户操作。
EmoTalk: Speech-Driven Emotional Disentanglement for 3D Face Animation
m0_46312382的博客
10-13 1467
作者使用wav2vec 2.0来提取音频特征。对于情感分离编码器，引入了两个不同的音频特征提取器，并分别用于为内容和情感提取两个单独的潜在空间，用于解耦情感和内容。在这个解码器中，通过使用 Transformer 模块进行解码，该解码器接收多种不同类型的特征作为输入，然后输出 52 个情感增强的混合形状系数，以表示最终的面部表情。3.由于3D情感说话人脸的数据较少，我们借助面部混合形状的监督，从2D情感数据中重建出可信的3D人脸，并提供了一个大规模的3D情感说话人脸数据集（3D-ETF）来训练网络。
Thoughtful Machine Learning with Python: A Test-Driven Approach
01-21
Thoughtful Machine Learning with Python: A Test-Driven Approach English | 25 Aug. 2016 | ISBN: 1491924136 | 250 Pages | AZW3/MOBI/EPUB/PDF (conv) | 16.77 MB By teaching you how to code machine-...
人脸姿态
jacke121的专栏
12-07 2461
https://github.com/WIKI2020/FacePose_pytorch
FACIAL：更可控的说话人驱动
idol24的博客
09-06 624
点击上方“机器学习与生成对抗网络”，关注星标获取有趣、好玩的前沿干货！来源：AI科技评论本文是对发表于计算机视觉领域的顶级会议 ICCV 2021的论文“FACIAL: Synthesiz...
论文阅读：【音频合成隐式属性，3d model】FACIAL: Synthesizing Dynamic Talking Face with Implicit Attribute Learning
landing_guy_的博客
11-24 1582
介绍ICCV2021的一篇文章
论文阅读：FACIAL: Synthesizing Dynamic Talking Face with Implicit Attribute Learning
landing_guy_的博客
09-15 986
介绍ICCV 2021的文章
FACIAL: Synthesizing Dynamic Talking Face with Implicit Attribute Learning（论文翻译）
weixin_41967328的博客
10-16 1277
FACIAL论文 链接 视频： https://www.youtube.com/watch?reload=9&app=desktop&v=hl9ek3bUV1E arvxiv： https://arxiv.org/abs/2108.07938 摘要 在本文中，我们提出了一种谈话人脸生成方法，该方法以音频信号为输入，以短目标视频剪辑为参考，合成目标人脸的照片逼真视频，具有与输入音频信号同步的自然嘴唇运动、头部姿势和眨眼。我们注意到，合成人脸属性不仅包括与语音高度相关的嘴唇运动等显式属性，还包括
【数字人】7、GeneFace++ | 使用声音驱动的面部运动系数作为 condition 来指导 NeRF 重建说话头
呆呆的猫的博客
11-17 5389
本文主要介绍 GeneFace++
FACIAL: Synthesizing Dynamic Talking Face with Implicit Attribute Learning 论文解读
weixin_41967328的博客
10-21 1396
链接 视频： https://www.youtube.com/watch?reload=9&app=desktop&v=hl9ek3bUV1E arvxiv： https://arxiv.org/abs/2108.07938 中文翻译： https://blog.csdn.net/weixin_41967328/article/details/120798208 总体概况 1. Audio----> expression，pose, eyes blink Audio—>de
一种由视频和音频共同驱动的说话人脸合成方法简介
Konata的博客
03-31 5726
最近做作业看到了一篇挺有意思的文章《Pose-Controllable Talking Face Generation by Implicitly Modularized Audio-Visual Representation》。文章开发了一个可以说话人脸生成工具，可以由视频和音频共同驱动 Zhou, H., Sun, Y., Wu, W., Loy, C. C., Wang, X., & Liu, Z. (2021). Pose-controllable talking face generat
ICCV 2021 | FACIAL ：动态谈话人脸视频生成，姿态，眨眼皆可控！
3D视觉工坊
09-03 2117
来源：AI科技评论本文是对发表于计算机视觉领域的顶级会议 ICCV 2021的论文“FACIAL: Synthesizing Dynamic Talking Face with Impli...
【虚拟人综述论文】Human-Computer Interaction System: A Survey of Talking-Head Generation
风信子的猫Redamancy的快乐星球
03-04 4812
由于人工智能的快速发展，虚拟人被广泛应用于各种行业，包括个人辅助、智能客户服务和在线教育。拟人化的数字人可以快速与人接触，并在人机交互中增强用户体验。因此，我们设计了人机交互系统框架，包括语音识别、文本到语音、对话系统和虚拟人生成。接下来，我们通过虚拟人深度生成框架对Talking-Head Generation视频生成模型进行了分类。同时，我们系统地回顾了过去五年来在有声头部视频生成方面的技术进步和趋势，强调了关键工作并总结了数据集。
培养TDD思路的实战指南：《Test-Driven Development》精要
《Test-Driven Development By Example》是一本由Kent Beck编著，Three Rivers Institute出版的Java程序员必读的实践导向书籍，版权日期为2002年。该书以其简洁易懂的特点，适合在一个轻松的下午通过实例学习和实践...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

live_for_myself

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值