GAN Inversion（GAN 反演）

已于 2024-08-29 10:08:45 修改
阅读量482 收藏 1
点赞数 2
分类专栏： GAN # 图像生成GAN 文章标签： 生成对抗网络 机器学习 深度学习
于 2024-08-29 09:55:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43135178/article/details/141670971
版权

 

什么是Inversion？

来龙去脉：

在生成过程中，我们通过将z输入G，然后得到图像，但是你这个Z是不定的（随机的高斯分布噪声），所以即使你得到了质量好的生成图像，但是依然无法通过修改你这个图像对应的Z来实现图像编辑。

为了可以实现图像编辑，我们需要找到这个图像对应的latent z，也就是一个可以被调控的tensor，那么我们就可以通过修改tensor的某些维度来实现对图像的编辑。

那么找到某个图像对应的latent z的过程就是inversion

一句话解释清楚：

找到给定某个图像对应的latent z

怎么实现inversion？

方法有很多

styleGAN 只能对生成的图像进行inversion:

有的是直接在定义模型的时候就已经定义好了latent z的空间，即在生成过程中就可以直接得到latent z，但是这个styleGAN是只能找到生成的图像对应的latent z，但是无法找到任意给定的图像对应的z

styleGAN

【CVPR_2023论文精读】E4S: Fine-grained Face Swapping via Regional GAN Inversion
zik的博客
05-28 3222
人脸交换是将源人脸的身份信息(如人脸成分的形状、纹理等)传递给给定的目标人脸，同时保留与身份无关的目标人脸属性信息(如表情、头部姿势、背景等)。源脸身份的保存（肤色、形状、纹理）具体是面部皮肤、眉毛、眼睛、鼻子、嘴唇和嘴巴如何正确处理面部遮挡（头发与目标脸相同）具体是头发、眼镜、耳朵、耳环、颈部和背景等非内部人脸区域身份保存此文身份保存用RGI方法来明确地解纠缠人脸成分的形状和纹理，而不是使用人脸识别模型或3DMMs。属性保存此文属性保存是用纹理编码和mask的一个混合来完成。缩写全拼。
【补充精读】Supplement for “ Fine-Grained Face Swapping via Regional GAN Inversion”
zik的博客
05-31 807
这篇是的Supplement，我认为还是值得一读的，作者在这篇工作里面做了很多分析。如Loss Functions，Limitations and Discussion等。首先存在的问题有（a）重现模型不能很好的控制生成结果的眼神与目标脸的眼神一致，即注视方向。解决的办法可以是加一个注视方向的损失约束（b）照明illumination问题，只是将源脸的纹理复制过来了，并不能很好的保存目标脸的光泽情况，可能出现与背景等不符的情况。解决办法是解耦光照与纹理或者加一个光照损失约束。
GAN & GAN Inversion
ReaFly的博客
04-07 2651
1. 《A Style-Based Generator Architecture for Generative Adversarial Networks》 2. 《Encoding in Style: a StyleGAN Encoder for Image-to-Image Translation》 通过PSP结构获取stylelGAN的初始图像编码 3. 《Towards Real-World Blind Face Restoration with Generative Facial Prior》
GAN Inversion: A Survey笔记
lihao1875699404的博客
04-24 1227
Gan逆映射操作的目的就是将图像逆映射到预训练Gan模型的潜在空间，之后图像可以由生成器从逆映射的代码中可信的重建，使得可以在现有训练的GAN的潜在空间的可控方向上进行图像编辑。具体流程见下图，我们将真实图像逆映射到潜空间后，可以沿着一个特定方向改变代码来编辑图像属性。最后作者提及了给定图像获得的潜在隐空间应该具有的特性：可信逼真的重建图像以及促进下游任务，这也是GAN逆映射的目标。无论哪种gan逆映射的方法都包含一个重要步骤：将图像嵌入到哪个潜在空间。
ReStyle 水记（GAN反演，基于迭代细化的编码器）
无
09-16 1371
ReStyle 水记（GAN反演，基于迭代细化的编码器）
GAN Inversion: A Survey
Joselynzhao
01-20 1852
文章目录Abstract框架IntroductionEvaluation Metrics Abstract GAN inversion aims to invert a given image back into the latent space of a pretrained GAN model so that the image can befaithfully reconstructed from the inverted code by the generator. In this paper, w
（2022，latent spcae）GAN逆映射：综述
qq_44681809的博客
03-21 8397
GAN 逆映射把给定图像映射到预训练 GAN 模型的 latent space，以便生成器可以从 latent code 重建图像。作为一种连接真假图像域的新兴技术，GAN Inversion 使用预训练 GAN 模型进行真实图像编辑。此外，GAN Inversion 解释了 GAN 的 latent space 以及如何生成逼真的图像。在本文中，我们综述了 GAN Inversion，重点介绍了其代表性算法及其在图像恢复和图像处理中的应用。我们进一步讨论了未来研究的趋势和挑战。
[读论文] （MeshInversion）Monocular 3D Object Reconstruction with GAN inversion (ECCV2022)
YuQiao0303的博客
12-05 3823
项目主页：https://www.mmlab-ntu.com/project/meshinversion/ 方法名称：MeshInversion 输入：单目图像 （in the wild，有背景的，没有抠图的） 输出：textured 3D mesh key challenge: 缺少3D或multiview supervision 方法核心：先预训练一个3D GAN ，可以从latent code z生成textured mesh。然后在inference的时候，从输入的图片倒推最符合的z。（这是一个in
学习笔记：High-Fidelity GAN Inversion for Image Attribute Editing 用于图像属性编辑的高保真生成对抗网络反演
Qi__Xi的博客
10-05 2969
本文提出了一种新的高保真生成对抗网络（GAN）反演框架，该框架能够在保持良好的图像特定细节的情况下进行属性编辑。为了在不影响可编辑性的前提下提高图像的保真度，我们提出了一种失真协商方法，该方法采用失真图作为高保真重建的参考。在失真协商反演（DCI）中，首先将失真图投影成一个高比率潜图上，然后通过协商融合为基本的低比率潜码补充更多的细节。为了实现高保真的编辑，我们提出了一个自适应失真对齐（ADA）模块，该模块带具有自监督训练方案，弥补了编辑图像和反演图像之间的差距。实验表明，反演和编辑质量都有明显提高。
High-Fidelity Image Inpainting with GAN Inversion
weixin_41749533的博客
06-29 892
平均潜在代码是从丰富的随机样本中获得的，这些样本将编码器输出限制为平均样式，因此有损了编码器的输出分布的多样性。大量的定量和定性比较证明了我们的模型比以前的方法的优越性，并且可以便捷地支持来自不可见域的图像或掩码的语义一致补全。为了重建忠实和逼真的图像，设计了一个简单而有效的软更新平均潜在模块来捕获更多样化的域内模式，这些模式为大型损坏合成高保真纹理。为了解决这个问题，在本文中，我们设计了一种新的用于图像修复的 GAN 反演模型，称为。论文展示的修复效果，分别为大面积遮盖的复原，人脸，以及域外人脸的效果。
awesome-gan-inversion
03-08
awesome gan-inversion papers GAN反演资源集合：解释预训练模型的潜在空间。 贡献 欢迎反馈和贡献！ 如果您认为我错过了某件事（或有任何建议）（论文，实现和其他资源），请随时。 我已经发布了。 如果发现任何不适当的调查表，请，提出问题或给我发送电子邮件。 降价格式： **Here is the Paper Name.** <br> *[ Author 1 ](homepage), Author 2, and Author 3.* <br> Conference or Journal Year. [ [PDF ](link)] [ [Project ](link)] [ [Github ](link)] [ [Video ](link)] [ [Data ](link)] 民意调查 [] GAN倒置：一项调查。 夏伟豪，张玉伦，杨玉九，薛静豪，周伯雷，
GAN-Inversion:我感兴趣的论文集
04-08
GAN反演 我感兴趣的论文集。 待阅读 标题 会场 代码 年 CVPRW 2020年 国际CCV 2019年 心肺复苏术 2020年 arXiv：2004.00406 [cs] 2020年 arXiv：2103.04523 [cs] 2021年 arXiv：2102.02766 [cs] 2021年 arXiv：2104.00820 [cs] 2021年 arXiv：2103.03841 [cs，stat] 2021年 心肺复苏术 2021年 冻结 arXiv：2103.16748 [cs.CV] 2021年 心肺复苏术 2021年 arXiv：1905.12663 [cs] 的github 2019年 GAN中无监督的歧管的无监督发现 arXiv：2011.11842 [cs] 的github 2020年 StyleSpace分析：StyleGAN图像生成的分
GAN反演+老照片修复
qq_42563807的博客
04-17 1456
一个自然的想法是在GAN的图像空间寻找一张灰度化后与目标图片一致的图片，由于GAN倾向于输出自然的图片，因此找到的这张图会有自然的颜色。即，如果我们要复原图像A，则可以训练GAN网络，使其生成一个跟图像A的GroundTruth相似度很高很高的图像，该生成图像即为我们修复后的图像；用GAN模型近似表征自然图像分布，在恢复图像时，对于失真图，要恢复它，其实就是要在GAN表征的自然图分布中找到一个跟失真图最相似的图。提出了GFP-GAN，利用丰富多样的先验，将其封装在一个预训练的人脸中，用于模糊人脸修复。
论文学习随记：Unsupervised 3D Shape Completion through GAN Inversion
Pikoyoo的博客
02-25 1830
Shape Inversion论文阅读及源码调试
逆思维：GAN不能生成什么？Seeing What a GAN Cannot Generate
GodWriter的博客
01-04 998
1. Abstract 虽然GAN很成功，但是模式崩塌(Mode Collapse)的问题依然存在，而现在少有论文去理解并量化GAN到底抛弃了哪些模式。 故本文在两个级别的基础上可视化了模式崩塌：分布级(Distribution Level)和实例级(Instance Level)。 首先，对生成数据集和目标数据集使用语义分割网络，统计两个数据集中被分割出来的物体的分布。分布的不同将会透露出G...
【论文解读】IDInvert：In-Domain GAN Inversion for Real Image Editing
weixin_42751186的博客
09-21 3238
Jiapeng Zhu, Yujun Shen, Deli Zhao, Bolei Zhou, ECCV2020 paper：https://arxiv.org/abs/2004.00049v3 code：https://github.com/genforce/idinvert（tensorflow和pytorch版本都已开源，但pytorch版只有inference部分） 一、概述 对于GAN inversion的任务，不仅要保证重建的图像在pixel上是相似的，还要保证它在semantic上也是不变的。
ECCV 2024 | 深入探索GAN先验，哈工大、清华提出模型反演新方案
最新发布
Paper weekly
08-01 758
介绍模型反演（MI）攻击的目的是利用输出信息从已发布的模型中重建隐私敏感的训练数据，这引起了人们对深度神经网络（DNNs）安全性的广泛关注。近年来，生成对抗网络（GANs）因其强大的图像生成能力，对模型反演攻击的性能做出了重大贡献。然而，以往的模型反演攻击只在 GAN 先验的隐空间中搜索私有信息，这限制了它们在语义提取和在多个目标模型和数据集上的可转移性。为了解决这一挑战，我们提出了一种新的方法—...
GAN读书笔记：Unsupervised 3D Shape Completion through GAN Inversion
weixin_54075936的博客
07-04 1120
本文为阅读Unsupervised 3D Shape Completion through GAN Inversion文献过程中，个人所做的总结和笔记，欢迎大家相互学习交流
CVPR 2022｜处理速度仅用0.2秒！港科大&腾讯AI Lab开源基于GAN反演的高保真图像编辑算法...
迈微AI研习社 · 号主
07-06 679
点击上方“迈微AI研习社”，选择“星标★”公众号重磅干货，第一时间送达转载自：极市平台 作者丨Tengfei Wang后台回复“加群”进入—>CV微信技术交流群迈微导读本文介绍了一篇来自港科大和腾讯 AI Lab已被CVPR 2022收录的工作。工作提出了一种新颖的高保真GAN反演框架，该框架能够在保留图像特定细节（例如背景、外观和照明）的情况下进行属性编...
深入探索：GAN-Inversion相关论文集锦
- GAN反演技术：该技术试图从预训练的GAN模型中“反演”或提取出对应的潜在空间表示。这对于理解GAN的工作原理、数据生成过程以及在特定任务中对GAN进行微调非常有帮助。 - 论文提及的会议和发表的平台：CVPR...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Pengsen Ma

太谢谢了

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值