- 博客(58)
- 收藏
- 关注
RSS订阅翻译 Meta Talk: Learning to Data-Efficiently Generate Audio-Driven Lip-Synchronized Talking Face 译文
这项工作中，原始目标人物的人脸图像被分解为 3D 人脸模型参数，包括表情、几何、照明等。然后，由适应的目标人脸视频生成的低清晰度伪视频桥接强大的预训练音频驱动模型到我们的音频到表达转换网络，并帮助转移音频身份解开的能力。该表情通过音频替换，然后与其他面部参数组合以呈现合成面部。最后，神经渲染网络将合成人脸转换为说话人脸，而不会丢失定义。实验结果表明，与现有的最先进方法相比，所提出的方法在高清图像质量方面具有最佳性能，并且在唇部同步方面具有可比性。
2022-09-06 11:01:51
1157
原创 Audio-driven Talking Face Video Generation with Learning-based Personalized Head Pose （译文）
链接Arxiv：https://arxiv.org/abs/2002.10137Video：https://www.bilibili.com/video/BV15f4y1t7FD/摘要现实世界中会说话的面孔通常伴随着自然的头部运动。然而，大多数现有的谈话人脸视频生成方法只考虑具有固定头部姿势的面部动画。在本文中，我们提出了一个深度神经网络模型来解决这个问题，该模型将源人物的音频信号a和目标人物的非常短的视频V作为输入，并输出具有个性化头部姿势（利用V中的视觉信息）、表情和嘴唇同步的合成高质量对话
2021-11-17 14:00:53
2294
原创 Photorealistic Audio-driven Video Portraits （译文）
真实感音频驱动视频肖像链接介绍页：https://richardt.name/publications/audio-dvp/paper：https://richardt.name/publications/audio-dvp/AudioDVP-WenEtAl-TVCG2020.pdf图 1. 我们提出了一种新方法，用于生成与目标视频中的演员相对应的逼真视频肖像，由任意语音音频重演。我们的方法在视频会议、虚拟教育和培训场景中都有应用。摘要视频人像在视频会议、新闻广播、虚拟教育培训等各种应
2021-11-16 20:23:06
3683
原创 Write-a-speaker: Text-based Emotional and Rhythmic Talking-head Generation（译文）
Write-a-speaker: Text-based Emotional and Rhythmic Talking-head Generation写一个演讲者：基于文本的情绪化和有节奏的谈话头生成链接Arxiv：https://arxiv.org/abs/2104.07995Video：https://www.youtube.com/watch?v=weHA6LHv-Ew摘要在本文中，我们提出了一种新的基于文本的说话人头部视频生成框架，该框架综合了高保真的面部表情和头部运动，并与文本情感、语音
2021-11-15 14:18:12
2170
1
原创 PIRenderer: Controllable Portrait Image Generation via Semantic Neural Rendering (译文)
PIRenderer: Controllable Portrait Image Generation via Semantic Neural Rendering链接视频：https://www.youtube.com/watch?v=gDhcRcPI1JUarxiv：https://arxiv.org/abs/2109.08379简介通过控制现有人脸的运动来生成人像图像是一项对社交媒体行业具有重大影响的重要任务。为了易于使用和直观控制，应使用语义上有意义且完全解开的参数作为修改。然而，许多现有
2021-11-13 15:27:00
2111
1
原创 FACIAL: Synthesizing Dynamic Talking Face with Implicit Attribute Learning 论文解读
链接视频：https://www.youtube.com/watch?reload=9&app=desktop&v=hl9ek3bUV1Earvxiv：https://arxiv.org/abs/2108.07938中文翻译：https://blog.csdn.net/weixin_41967328/article/details/120798208总体概况1. Audio----> expression，pose, eyes blinkAudio—>de
2021-10-21 09:32:00
1402
原创 3D Talking Face with Personalized Pose Dynamics 论文翻译
链接论文：https://personal.utdallas.edu/~xxg061000/TVCG2021.pdf相关视频：https://www.youtube.com/watch?v=KflYlxiia5Q1. 介绍图3。我们的统一框架概述。GposeG_{pose}Gpose 表示三维头部姿势序列的生成器，DposeD_{pose}Dpose表示鉴别器。面形状参数由PGFace生成。对话人脸生成是计算机视觉和图形学中一个非常有吸引力的研究课题。除了有趣之外，它还有广泛的应用，
2021-10-18 15:48:47
1333
原创 FACIAL: Synthesizing Dynamic Talking Face with Implicit Attribute Learning（论文翻译）
FACIAL论文链接视频：https://www.youtube.com/watch?reload=9&app=desktop&v=hl9ek3bUV1Earvxiv：https://arxiv.org/abs/2108.07938摘要在本文中，我们提出了一种谈话人脸生成方法，该方法以音频信号为输入，以短目标视频剪辑为参考，合成目标人脸的照片逼真视频，具有与输入音频信号同步的自然嘴唇运动、头部姿势和眨眼。我们注意到，合成人脸属性不仅包括与语音高度相关的嘴唇运动等显式属性，还包括
2021-10-16 14:28:07
1300
原创 APB2face-v2 论文理解
APB2face-v2github:https://github.com/zhangzjn/APB2FaceV2arxiv：https://arxiv.org/abs/2010.130171. 思路在APB2face中，我们提到其在不同的说话人上需要重新训练模型，在v2版本中则是解决了该问题。将condition(Head Pose、Audio、Eye Blink)编码后以AdaINAdaINAdaIN权重方式传递给Generator，生成具有原始人脸细节特征的人脸。2. 模型概括3. 相
2021-10-11 14:21:45
430
原创 APB2face论文理解
APB2face论文理解APB2facegithub：https://github.com/zhangzjn/apb2facearxiv：https://arxiv.org/abs/2004.14569思路分别制作视频的头部姿态(pose)，眼睛张闭程度(eyes)标签，使用Audio，pose，eyes同时控制生成的图片效果。典型的condition------>face landmark------>Truth face二阶段模型。第一阶段：将audio、pose、eyes
2021-10-11 13:43:52
350
原创 Live Speech Portraits: Real-Time Photorealistic Talking-Head Animation (译文)
Live Speech Portraits: Real-Time Photorealistic Talking-Head Animation (译文)项目链接https://yuanxunlu.github.io/projects/LiveSpeechPortraits/1. 简介会说话的头部动画，即合成目标人物的音频同步视频帧，对于交互式应用（如数字化身、视频会议、视觉效果、虚拟现实、视频配音和计算机游戏）非常有价值。随着深度学习的最新进展，人们在这个长期存在的问题上取得了巨大的进步。然而，实现逼
2021-10-08 19:07:46
4127
2
原创 Opengl es 2.0 3.0 Android-stdio 学习资料链接整理
Opengl es 2.0 3.0 Android-stdio 学习资料链接整理opengl lut链接opengl 高斯模糊 均值模糊巧妙优化https://cloud.tencent.com/developer/article/1167273opengl 高斯模糊 caincamerahttps://www.optbbs.com/thread-4720179-1-1.htmlopengl es 滤镜https://blog.csdn.net/weixin_42277689/article/
2020-08-21 20:28:22
200
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人