AVFR-GAN：音视觉的人脸驱动技术

最新推荐文章于 2024-05-21 23:16:53 发布
最新推荐文章于 2024-05-21 23:16:53 发布
阅读量521 收藏 1
点赞数
分类专栏： 扩散模型与GAN生成对抗网络 文章标签： 算法 计算机视觉 人工智能 机器学习 深度学习
原文链接：https://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247498124&idx=2&sn=940ce8a68bddc79059a915da2635bfa0&chksm=fe2a5b37c95dd2213258a3ef3e2c8c6643d4f9bab4b9ba8e845cfd7e1aabb569d06131285e37&scene=126&&sessionid=0
版权

点击上方“摸鱼吧算法工程师”卡片，关注星标

获取有趣、好玩的前沿干货！

Audio-Visual Face Reenactment 

https://arxiv.org/pdf/2210.02755.pdf

1e499a670fdee4a3b1e13031e708d5f0.png

人脸驱动技术有很多有用的应用场景，比如：在录音棚中低成本为明星进行相关录制，在线教育也可以有类似的应用场景，新闻传媒还可以减少他们的通勤。此外，还可以通过多种方式简化视频通话，由于紧凑的基于关键点的表示，这可能可以减少带宽等等。

这项工作提出了一种使用音频和视觉流来生成逼真的说话人视频的驱动新方法。

通过使用可学习关键点生成的密集运动场从驱动视频中迁移头部运动来使源图像动画化。使用音频作为额外的输入来提高口型同步的质量，帮助网络关注口腔区域。使用附加的先验，利用人脸分割和人脸网格来改进重构人脸的结构。最后，引入一个精心设计的身份感知的生成器模块来提高视觉质量。生成器将源图像和扭曲运动特征作为输入，生成具有细粒度细节的高质量输出。

方法产生了最先进的结果，并很好地推广到看不见的面孔、语言和声音。使用多种指标综合评估，并在定性和定量上优于当前的技术。方法可用在几个应用场景中，包括启用低带宽视频通话。更多信息详见：http://cvit.iiit.ac.in/ research/projects/cvi -projects/avfr

469a22193898a2ab45f3c4ccc8cbba51.png

-------------END-------------

往期阅读

图像卡通化生成（Image Cartoonization）：最新最全19篇汇总

最新最全100篇汇总！生成扩散模型Diffusion Models

最新CVPR 2022 论文推荐（1）

最新CVPR 2022 论文推荐（2）

最新CVPR 2022 论文推荐（3）

（1）GAN改进系列 | 最新ICCV2021生成对抗网络GAN论文梳理汇总

（2）最新ICCV 2021 | 图像转换生成对抗GAN汇总梳理

最新 ICCV 2021 | GAN隐私保护（33）医学图像（34）生成对抗GAN

最新 ICCV 2021 论文推荐

89ba28ddd762528819a3f74b8d3578a4.png

如果觉得有用，就点个“在看”吧 4e816c64c9c02a185cf40ae6df0bad92.png

机器学习与AI生成创作
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ca-gan：CA-GAN：组合辅助GAN
02-02
我们为CA-GAN和SCA-GAN提供PyTorch实施。 论文“通过合成辅助GAN实现逼真的面部照片素描合成” [ 发电机架构 样品结果 左：草图合成； 右：照片合成 （a）输入图像，（b）cGAN，（c）CA-GAN，（d）SCA-GAN 先决...
AI数字人：最强声音驱动面部表情模型VideoReTalking
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
09-22 8405
VideoReTalking是一个强大的开源模型，是目前语音驱动面部表情的模型中效果最好的一个。此模型是由西安电子科技大学、腾讯人工智能实验室和清华大学联合开发的。
一种由视频和音频共同驱动的说话人脸合成方法简介
Konata的博客
03-31 5564
最近做作业看到了一篇挺有意思的文章《Pose-Controllable Talking Face Generation by Implicitly Modularized Audio-Visual Representation》。文章开发了一个可以说话人脸生成工具，可以由视频和音频共同驱动 Zhou, H., Sun, Y., Wu, W., Loy, C. C., Wang, X., & Liu, Z. (2021). Pose-controllable talking face generat
3D人脸表情驱动——基于eos库
热门推荐
风翼冰舟的博客
06-23 1万+
前言 之前出过三篇换脸的博文，遇到一个问题是表情那一块不好处理，可行方法是直接基于2D人脸关键点做网格变形，强行将表情矫正到目标人脸，还有就是使用PRNet的思想，使用目标人脸的顶点模型配合源人脸的纹理，可以让表情迁移过来，但是这个表情是很僵硬的。比如笑脸的3D顶点模型，结合不笑人脸的纹理图，生成的笑脸是非常奇怪的。有兴趣可以翻csdn前面的文章，或者关注公众号检索人脸相关文章。 这里针对表情，采用另一种方案——blendshape。这个理论在表情动画中经常使用到，目的就是驱动人脸表情，无论是动画人脸还是真
Diffusion-GAN: Training GANs with Diffusion 解读
简单记录生活、学习
11-19 6816
Diffusion-GAN: Training GANs with Diffusion 解读
论文阅读 L2M-GAN：《L2M-GAN: Learning to Manipulate Latent Space Semantics for Facial Attribute Editing》
平什么阿的博客
12-23 2640
论文地址： 来源：CVPR 2021 文章目录1. 背景知识2. 具体算法2.1 算法流程2.2 损失函数2.3 应用3. 实验3.1 定性实验3.2 定量实验3.3 消融实验3.4 其他属性操作任务的结果总结 1. 背景知识 深度人脸属性编辑模型力求满足两个要求：（1）属性正确性——目标属性应该正确出现在编辑后的人脸图像上； (2) 不相关保存——任何不相关的信息（如身份）在编辑后不应更改。 现有方法一：基于空间注意力 假设是每个属性都有局部支持区域，可以使用编码器-解码器 GAN 框架的特征图上的.
voice-conversion-gan:语音的神经风格转移模型
03-28
语音转换 语音的神经风格转移模型。
AT-GAN:A Generative Attack Model译文
04-24
对《AT-GAN:A Generative Attack Model for Adversarial Transferring on Generative Adversarial Nets》进行了翻译，便于研究
lecam-gan:在受限数据下对生成性对抗网络进行正则化（CVPR 2021）
04-16
在有限数据下对生成性对抗网络进行正则化 我们的GAN正则化方法的实现。 拟议的正则化1）在有限的训练数据下提高了GAN的性能，并且2）补充了现有的数据扩充方法。 请注意，这不是官方支持的Google产品。纸如果您发现...
VC-with-GAN:GAN的语音转换
05-08
带有VC的 CS 753 ASR项目 使用步骤： 运行bash download.sh以准备VCC2018数据集。 运行analyzer.py提取特征并将特征写入二进制文件。 （这需要几分钟。） 运行build.py记录一些统计信息，例如光谱极值和音调。...
496.下一个更大的元素
m0_73800437的博客
05-19 324
刷算法题：第一遍：1.看5分钟，没思路看题解2.通过题解改进自己的解法，并且要写每行的注释以及自己的思路。3.思考自己做到了题解的哪一步，下次怎么才能做对(总结方法)4.整理到自己的自媒体平台。5.再刷重复的类似的题目，根据时间和任务安排刷哪几个板块6.用c++语言 都刷过一遍了 就刷中等。
[每日一题]169：找出最大的可达成数字
AngelDg的博客
05-21 308
题目要求得一个最大的整数 x，使其在不超过 t 次操作内变成与 num 相等的数字。每次操作可以选择将 x 增加或减少 1，同时可以选择将 num 增加或减少 1。返回所有可达成数字中的最大值。可以证明至少存在一个可达成数字。给你两个整数 num 和 t。
质数和约数
2302_77099705的博客
05-21 1030
最大公约数（Greatest Common Divisor）指两个或多个整数共有约数中最大的一个。也称最大公因数、最大公因子，a， b的最大公约数记为（a，b），同样的，a，b，c的最大 公约数记为（a，b，c），多个 整数的最大公约数也有同样的记号。求最大公约数有多种 方法，常见的有 质因数分解法、 短除法、 辗转相除法、 更相减损法。
力扣62 不同路径 Java版本
m0_47066863的博客
05-20 291
机器人每次只能向下或者向右移动一步。机器人试图达到网格的右下角（在下图中标记为 “Finish” ）。一个机器人位于一个 m x n 网格的左上角 （起始点在下图中标记为 “Start” ）。从左上角开始，总共有 3 条路径可以到达右下角。题目数据保证答案小于等于 2 * 109。输入：m = 3, n = 7。输入：m = 3, n = 2。输入：m = 7, n = 3。输入：m = 3, n = 3。问总共有多少条不同的路径？
代码随想录算法训练营Day 47|动态规划part09|198.打家劫舍、213.打家劫舍II 、337.打家劫舍III
m0_51759998的博客
05-20 345
【代码】代码随想录算法训练营Day 47|动态规划part09|198.打家劫舍、213.打家劫舍II 、337.打家劫舍III。
【算法】【二叉树，DFS，哈希集合，分类讨论】力扣1110. 删点成林
未来就在脚下。
05-20 811
本题通过DFS遍历二叉树，结合分类讨论的方法，逐步删除指定节点并生成新的森林。该算法有效地处理了节点删除后树结构的调整问题，并通过哈希集合优化删除判断的时间复杂度，最终实现了高效的解决方案。
【算法刷题day60】Leetcode：84. 柱状图中最大的矩形
qq_45022758的博客
05-21 281
暂无84. 柱状图中最大的矩形代码随想录解析。
【算法】前缀和——二维前缀和模板题
最新发布
2302_79031646的博客
05-21 262
用“二维前缀和模板题”来介绍二位前缀和算法模板
第四十一天 | 62.不同路径 63.不同路径|| 343.整数拆分 96.不同的二叉搜索树
xxlyss的博客
05-21 247
确定遍历顺序，先来看看递归公式：dp[i] = max(dp[i], max((i - j) * j, dp[i - j] * j));2.状态转移方程：dp[i][j] = dp[i - 1][j] + dp[i][j - 1]（遇到空位置才进行计算）dp[i] 是依靠 dp[i - j]的状态，所以遍历i一定是从前向后遍历，先有dp[i - j]再有dp[i]。2.动态转移方程：dp[i][j] = dp[i - 1][j] + dp[i][j - 1]拆分0和拆分1的最大乘积是多少？
rd-gan: few/zero-shot chinese character style transfer via radical decomposi
01-30
RD-GAN是一种用于中文字符风格转换的算法，它利用了偏旁部首的分解来完成转换。这个算法可以在少量样本或者零样本情况下进行字符风格转换。 传统的字符风格转换方法通常需要大量的训练样本，而RD-GAN则通过将字符分解为偏旁部首来提供更灵活的转换能力。偏旁部首是构成汉字的组成部分，每个部首都有其独特的特点和风格。 RD-GAN的核心思想是将输入字符进行偏旁部首的分解，在训练阶段，通过对已有样本进行部首分解，学习出不同部首和风格之间的对应关系。在转换阶段，可以将未知样本的字符进行部首分解，并利用已学习到的关系将其转换为目标风格的部首。 值得注意的是，RD-GAN可以在少量样本的情况下进行转换，这是因为它利用了字符的部首结构，而不是完全依赖于样本。这使得RD-GAN对于零样本情况下的字符风格转换具有很好的适应能力。 总之，RD-GAN通过偏旁部首的分解实现中文字符风格转换，并且在少量样本或者零样本的情况下表现出良好的性能。它提供了一种灵活的方法来在中文字符的风格转换任务中进行实验和应用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值