【CVPR2021】TediGAN: Text-Guided Diverse Face Image Generation and Manipulation

最新推荐文章于 2024-08-18 10:20:43 发布
最新推荐文章于 2024-08-18 10:20:43 发布
阅读量1.4k 收藏 9
点赞数
分类专栏： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26136211/article/details/116763729
版权
TediGAN是CVPR2021中提出的一种技术，用于文本引导的多样化人脸图像生成和操纵。该模型结合了StyleGAN inversion、视觉-语言相似性学习和实例级优化，生成的图像分辨率高达1024x1024。StyleGAN inversion模块从人脸图像中推断latent space向量，Visual-Linguistic Similarity Learning将文本和图像映射到共享的嵌入空间，而Instance-Level Optimization则确保身份不变。TediGAN还包括一个新的多模态CelebA-HQ数据集，包含人脸图像、语义分割图、草图和文本描述。
摘要由CSDN通过智能技术生成

TediGAN: Text-Guided Diverse Face Image Generation and Manipulation论文阅读

github代码

创新点：

  1. 针对人脸的图片生成和修改。
  2. 模型由styleGAN inversion（根据预训练的StyleGAN将图片映射到一个latent space）、visual-linguistic similarity learning（将文本和图片映射到common embedding space来计算相似度）和instance-level optimization（确保修改后人脸的identity不会发生改变）组成。
  3. 最后生成的图片像素高达1024x1024.
  4. 提出了新的数据集Multi-Modal CelebA-HQ，它包含人脸图片和相应的语义分割图、草图和文本描述。

TediGAN

TediGAN的整体思路是：首先使用StyleGAN inversion模块推理出一张图片对应在W space的向量，接着，使用Visual-Linguistic Similarity Learning训练text encoder，然后就按照正常的方式训练就可以了。

StyleGAN inversion

传统的GAN是通过一个随机采样的向量z生成图片x的，inversion顾名思义，是从x推理出z。一个经典的inversion思路就是引入一个额外的encoder——Ev，通过它对Generator根据向量zs生成的图片x再编码，使其映射到zs附

最低0.47元/天 解锁文章
芋圆526
关注
专栏目录
【CVPR_2023论文精读】E4S: Fine-grained Face Swapping via Regional GAN Inversion
zik的博客
05-28 3005
人脸交换是将源人脸的身份信息(如人脸成分的形状、纹理等)传递给给定的目标人脸，同时保留与身份无关的目标人脸属性信息(如表情、头部姿势、背景等)。源脸身份的保存（肤色、形状、纹理）具体是面部皮肤、眉毛、眼睛、鼻子、嘴唇和嘴巴如何正确处理面部遮挡（头发与目标脸相同）具体是头发、眼镜、耳朵、耳环、颈部和背景等非内部人脸区域身份保存此文身份保存用RGI方法来明确地解纠缠人脸成分的形状和纹理，而不是使用人脸识别模型或3DMMs。属性保存此文属性保存是用纹理编码和mask的一个混合来完成。缩写全拼。
Text-Guided Attention Model for Image Captioning
lkangkang的博客
02-28 451
In our approach, we leverage a guidance captions as associated text language to steer visual attention. Our image captioning network is trained to minimize the following loss: 1.给定一张图片，从训练集中选择一张相...
ManiGAN: Text-Guided Image Manipulation(论文翻译)
asfafafqwfafs的博客
04-04 1347
这里写自定义目摘要： 我们的论文的目的是在语义上编辑图像的一部分，以匹配描述所需的给定文本（例如，纹理、颜色、背景）同时保留与文本无关的其它内容。为此，我们提出了一种新的生成对抗网络（ManiGAN），它包含两个关键的部分：文本图像仿射组合模块（ACM）和细节校正模块（DCM）。ACM选择与给定文本相关的图像区域，然后将具有相应语义单词的区域与有效操作相关联。同时，它也编码原始图像特征，以帮助文本无关内容的重建。DCM纠正了不匹配的属性，并重建了合成图像的缺失内容。最后，我们提出了一个新的度量来评估图像重构
探索TediGAN：文本引导的多样化人脸图像生成与操作
最新发布
gitblog_01078的博客
08-18 258
探索TediGAN：文本引导的多样化人脸图像生成与操作 TediGAN[CVPR 2021] Pytorch implementation for TediGAN: Text-Guided Diverse Face Image Generation and Manipulation项目地址:https://gitcode.com/gh_mirrors/ted/TediGAN 在人工智能的璀璨星空...
TediGAN:文本引导的多样化人脸图像生成和操作 (CVPR 2021)
euy的博客
05-07 3639
TediGAN: Text-Guided Diverse Face Image Generation and Manipulation TediGAN:文本引导的多样化人脸图像生成和操作 (CVPR 2021)1 Task2 Problems3 Contributions4 Methods4.1 StyleGAN Inversion Module4.2 Visual-Linguistic Similarity Learning4.3 InstanceLevel Optimization4.4 Control
Text Guided Person Image Synthesis
Forlogenの解忧杂货铺
07-06 1109
论文地址：https://arxiv.org/abs/1904.05118 GitHub：未找到 收录于：CVPR 2019 本文完成的工作主要是根据具体文字描述来操纵行人图像，改变行人的外观。作者所提出的方法主要分为以下两个阶段： stage 1：根据文字描述生成行人合理的姿态 stage 2：结合前一阶段生成的目标姿态，根据文本合成一个逼真的、外型转换的人的图像。 作者认为所提出的方法可...
[论文阅读] TGANet: Text-guided attention for improved polyp segmentation
xiongxyowo的博客
05-24 1495
ManiGAN Text-Guided Image Manipulation
qq_44381060的博客
04-09 3560
ManiGAN: Text-Guided Image Manipulation 作者：Bowen Li、Xiaojuan Qi、Thomas Lukasiewicz、Philip H. S. Torr 时间：2020 期刊：CVPR 提出该网络的目标任务： 论文的目标是在语义上编辑图像的部分，以匹配描述所需属性（比如，纹理、颜色和背景）的给定文本，同时保留与文本无关的其他内容。目前来说，现最先进的文本引导图像处理方法只能产生低质量的图像（下图第一行），效果不理想（下图第二行），甚至不能有效地处理复杂场景
TGANet:用于改进息肉分割的文本引导注意力
qq_45745941的博客
05-10 1548
在训练过程中以文本注意力的形式利用了与大小相关和息肉数量相关的特征引入了一个辅助分类任务来对基于文本的嵌入进行加权，该任务允许网络学习额外的特征表示，这些特征表示可以明显适应不同大小的息肉，并且可以适应多个息肉的情况。实验结果表明，与最先进的分割方法相比，这些添加的文本嵌入提高了模型的整体性能。探索了四个不同的数据集，并为特定尺寸的改进提供了见解。我们提出的文本引导注意力网络（TGANet）可以很好地推广到不同数据集中的可变大小息肉代码地址。
CVPR2019/图像翻译：TransGaGa: Geometry-Aware Unsupervised Image-to-Image Translation几何感知的无监督图像到图像的翻译
ssshyeong的博客
06-23 1024
提出了一个新的解纠缠和翻译框架，以解决复杂的对象图像到图像的翻译任务。我们不直接学习图像空间上的映射，而是将图像空间分解为外观空间和几何潜在空间的笛卡尔积。具体地说，我们首先引入几何先验损失和条件VAE损失来鼓励网络学习独立但互补的表示。然后，翻译分别建立在外观和几何空间上。......
Talking-Face_PC-AVS:通过隐式模块化视听表示生成姿势可控制的说话人脸的代码（CVPR 2021）
05-13
通过隐式模块化视听表示进行姿势可控的会说话脸生成（CVPR 2021） ，孙亚生，，，和。 | | 我们提出了可姿势控制的视听系统（PC-AVS） ，该系统可在驱动带有声音的任意说话的面部时实现自由姿势控制。 代替从音频中学习姿势运动，我们利用另一个姿势源视频来仅补偿头部运动。 关键是设计一种隐含的低维姿势代码，该代码不包含嘴巴形状或身份信息。 通过这种方式，将视听表示模块化为三个关键因素的空间：语音内容，头部姿势和身份信息。 要求 使用Python 3.6和 1.3.0。 基本要求在“ requirements.txt”中列出。 pip install -r requirements.txt 快速入门：生成演示结果 下载预训练的检查点。 创建默认的文件夹./checkpoints并解压demo.zip在./checkpoints/demo 。 其中应该有5 pth 。 解压缩mi
CVPR 2021最全论文开放下载！附pdf下载链接！
热门推荐
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
CVPR 2020 论文大盘点-人脸技术篇
OpenCV中文网
10-22 3191
本文盘点CVPR 2020 所有人脸相关论文，总计64篇，涵盖方向众多，传统方向比如人脸识别、检测等依旧是研究的重点，除此之外，人脸生成、编辑，人脸反欺骗也有众多工作，一方面是研究如何造...
探秘TediGAN：生成逼真的图像与无限可能
gitblog_00097的博客
04-27 372
探秘TediGAN：生成逼真的图像与无限可能 TediGAN[CVPR 2021] Pytorch implementation for TediGAN: Text-Guided Diverse Face Image Generation and Manipulation项目地址:https://gitcode.com/gh_mirrors/ted/TediGAN 项目简介 是一个深度学习框架，...
探秘TediGAN：生成你的专属卡通形象
gitblog_00003的博客
04-27 329
探秘TediGAN：生成你的专属卡通形象 项目地址:https://gitcode.com/weihaox/TediGAN 项目简介 TediGAN 是一个基于深度学习的人像卡通化项目，由开发者WeihaoX在GitCode上开源。该项目利用先进的生成对抗网络（Generative Adversarial Networks, GANs）技术，将真实人像转化为可爱的卡通风格，让每个用户都能拥有自己的...
【Paper Notes】DiffusionCLIP: Text-Guided Diffusion Models for Robust Image Manipulation
S_Kross的博客
11-21 4453
DiffusionCLIP的主要任务就是利用CLIP和Diffusion模型做图像处理
2016~2022 文字生成图像 Text to image（T2I）论文整理 阅读路线和阅读指南
白洞，白色的明天在等着我们
11-19 1万+
综述类： 1、Adversarial Text-to-Image Synthesis: A Review：《对抗性文本到图像合成：综述》 https://arxiv.org/abs/2101.09983 阅读报告：Text to Image综述阅读报告1 2、A Survey and Taxonomy of Adversarial Neural Networks for Text-to-Image Synthesis：《用于文本生成图像的对抗性神经网络综述与分类》 https://arxiv.org/pdf
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值