talking face
文章平均质量分 95
李加号pluuuus
你好呀
展开
-
【论文阅读+复现】AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation
生成肖像动画的挑战:唇部动作、面部表情和头部位置的复杂协调,以创造出逼真的效果。它们依赖于有限容量的生成器来创建视觉内容,如gan[3,17]、NeRF[14,13]或基于运动的解码器[16,8]。这些网络泛化能力有限,并且在生成高质量内容时缺乏稳定性。最近,扩散模型的出现[2,5,9]促进了高质量图像的生成。一些研究在此基础上结合了时间模块。建立在扩散模型的进步,我们介绍AniPortrait,旨在生成高质量的动画肖像由音频和参考图像驱动。AniPortrait分为两个不同的阶段。原创 2024-03-29 18:44:44 · 2098 阅读 · 12 评论 -
【论文阅读】Diffused Heads: Diffusion Models Beat GANs on Talking-Face Generation
现有方法在创建自然面部外观、保持真实表情和动作方面仍然存在困难,同时在生成过程中仍需要额外的监督。首先,GAN 的训练困难,需要广泛的架构搜索和参数调整才能收敛。基于 GAN 的面部动画方法的训练稳定性可以通过使用额外的指导,如面具或引导帧来指导生成过程来改善。然而,这使它们局限于面部再现的应用,并降低了产生头部动作和面部表情的能力。此外,GAN 的训练通常会导致模态崩溃,即生成器无法生成覆盖整个数据分布支持的样本,而是只学习生成几个唯一的样本 [1]。原创 2024-03-16 17:40:12 · 1190 阅读 · 0 评论 -
【论文阅读】DREAM-Talk: Diffusion-based Realistic Emotional Audio-driven Method for Single Image Talking F
基于扩散的逼真情感音频驱动的单张图像说话人脸生成方法。语音驱动下,DREAM-Talk 可同时实现准确的口型同步和自然的情感表达,生成逼真的动态对话人脸。原创 2024-03-14 21:12:50 · 1004 阅读 · 0 评论 -
【论文复现】摩尔线程版AnimateAnyone
Inference没啥难度,按照readme来就行,就是分开下载权重比较慢,注意权重文件严格按照文档目录树来放。用MEAD数据集试一下。原创 2024-03-08 21:24:33 · 762 阅读 · 0 评论 -
【论文复现】Implicit Identity Representation Conditioned Memory Compensation Network for Talking Head Vide
任务目标:给定静态源图像和动态驱动视频,生成talking head视频。动机:Talking head视频生成的目的是利用目标驱动视频中获得的运动信息,在静态目标图像中使用动态姿态和表情来驱动人脸,同时保留目标人物ID。然而,驱动视频中剧烈复杂的运动会导致模糊生成,因为静止的目标图像不能为被遮挡区域或细微的表情变化提供足够的外观信息,从而产生严重的伪影,显著降低了生成质量。方法:提出学习一个全局的人脸表征空间,并设计一个新的隐式身份表征条件记忆补偿网络,即MCNet,用于高保真的说话头生成。原创 2024-01-30 00:15:01 · 932 阅读 · 0 评论 -
【论文复现】HyperLips: Hyper Control Lips with High Resolution Decoder for Talking Face Generation
具有高分辨率解码器的超控制嘴唇,用于说话人脸生成。原创 2024-01-28 18:41:53 · 857 阅读 · 0 评论