StyleGAN理解和隐变量latent space

于 2024-03-26 19:38:26 发布
阅读量395 收藏 5
点赞数 5
分类专栏： 深度学习 文章标签： gan 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49562509/article/details/137050523
版权
文章解释了生成对抗网络(GAN)中的隐空间概念，它不是数据的解压，而是通过训练学习复原原始数据。重点介绍了StyleGAN的Stylemixing技术，通过混合不同latentcodes控制图像风格，展示了不同分辨率下的style对图像特征的影响。
摘要由CSDN通过智能技术生成

生成对抗网络（GAN）中提到的隐空间（latent space）是什么意思？ - 知乎

其实，人工智能在这里进行的压根也不是解压，而是一种通过不断地训练学习，学会根据潜空间中被压缩的数据来尽量复原再现被压缩前的原始状态，只能说是尽量逼近而不是100%复原

个人认为 Style mixing 是 StyleGAN 的一大亮点，先来看下什么是 Style mixing，下图中 第一行是 source B， 第一列是source A，source A 和 source B的每张图片由各自相应的latent code 生成，剩余的图片是对 source A 和 souce B 风格的组合。 Style mixing 的本意是去找到控制不同style的latent code的区域位置，具体做法是将两个不同的latent code z1和 z2 输入到 mappint network 中，分别得到 w1 和 w2 ，分别代表两种不同的 style，然后在 synthesis network 中随机选一个中间的交叉点，交叉点之前的部分使用 w1 ，交叉点之后的部分使用 w2 ，生成的图像应该同时具有 source A 和 source B 的特征，称为 style mixing。

根据交叉点选取位置的不同，style组合的结果也不同。下图中分为三个部分，第一部分是 Coarse styles from source B，分辨率(4x4 - 8x8)的网络部分使用B的style，其余使用A的style, 可以看到图像的身份特征随souce B，但是肤色等细节随source A；第二部分是 Middle styles from source B，分辨率(16x16 - 32x32)的网络部分使用B的style，这个时候生成图像不再具有B的身份特性，发型、姿态等都发生改变，但是肤色依然随A；第三部分 Fine from B，分辨率(64x64 - 1024x1024)的网络部分使用B的style，此时身份特征随A，肤色随B。由此可以大致推断，低分辨率的style 控制姿态、脸型、配件 比如眼镜、发型等style，高分辨率的style控制肤色、头发颜色、背景色等style。

努力搬砖ll
关注
专栏目录
【StyleGAN2论文精读CVPR_2020】Analyzing and Improving the Image Quality of StyleGAN
zik的博客
08-06 954
【Paper】> 官方TensorFlow版【Code】> Pytorch版【Code】【Project】本篇博客是StyleGAN2论文的中文精读，望于大家全面理解StyleGAN2生成器有一定的帮助。首先，由于AdaIN操作会产生水滴状伪影，解决方案是重新设计normalization归一化步骤。详细见图2。
stylegan1: a style-based henerator architecture for gemerative adversarial networks
liguandong
06-21 742
StyleGAN 和 StyleGAN2 的深度理解 - 知乎StyleGAN 论文：A Style-Based Generator Architecture for Generative Adversarial Networks 源码：https://github.com/NVlabs/stylegan 效果：人脸生成效果 生成的假车效果： 生成的假卧室效果： 效果视频（建议…https://zhuanlan.zhihu.com/p/263554045A Style-Based Generator Arc
（2020，latent space）解释用于语义面部编辑的GAN的隐空间
qq_44681809的博客
03-17 1254
在本文，提出了一个新的架构 InterFaceGAN，通过解释由GAN学到的隐语义（latent semantics），进行语义的面部编辑。在该框架中，我们详细地研究隐空间中的不同语义是如何被编码的。我们发现，在线性变形（linear transformations）之后，训练良好的生成模型的 latent code 学习到了一个分离的（disentangled）表示（representation）。我们研究分离各种语义，并设法将一些纠缠的语义与子空间投影分离，从而更精确地控制面部属性。
[解读] ClusterGAN : Latent Space Clustering in Generative Adversarial Networks
天在那边
04-25 1819
链接: https://arxiv.org/abs/1809.03627v2 ClusterGAN 是一个 GAN 的变体, 通过使得生成样本反推的隐变量在隐空间中具有明显的簇的特征, 来提升 GAN 的性能. 相关工作 InfoGAN [4] 是一个研究在隐空间中进行可解释性的表征学习的开创新方法, 目标是创建可解释性的和可解的隐变量. 虽然 InfoGAN 使用了离散的隐变量, 但它不是为聚类...
[GAN]【学习笔记】关于Latent space入门
“知识最大的敌人不是无知，而是错觉”
09-28 1596
关于latent space的含义以及探索。
ClusterGAN : Latent Space Clustering in Generative Adversarial Networks 翻译
shaodongheng的博客
01-07 5520
ClusterGAN : Latent Space Clustering in Generative Adversarial Networks 翻译 注：其中还有不清楚的地方 摘要 生成对抗网络（GAN）在许多无监督学习任务中取得了显着的成功，毫无疑问，聚类是一个重要的无监督学习问题。虽然人们可以利用GAN中的潜在空间反向映射进行聚类，但我们证明了聚类结构没有保留在GAN的潜在空间中。在本文...
GAN系列：论文阅读——StyleGAN(A Style-based Generator Architecture for Generative Adversarial Networks)
热门推荐
lynlindasy的博客
04-30 1万+
这篇论文感觉理论上还蛮复杂的，第一遍实在不太懂，但效果比较好又舍不得放弃，硬头皮看第二遍了。但是官方代码好难好难！ StyleGAN中的style借用自图像风格迁移，之前也看过风格迁移的论文，图像的Gram矩阵一般可以表示它的风格也就是style。这篇文章是PG-GAN之后的，主要改变了生成器的结构实现无监督地生成可控性强的图像。 PG-GAN中是通过一层层地给生成器和判别器增添卷积层同时提高...
如何编辑styleGAN生成的图像的属性
ygfrancois的博客
02-25 2305
发现一个关于生成高清动漫头像的很棒的博客：gwern faces，讲述了从GAN诞生以来尝试过的各种方法生成动漫人脸的经验，值得一看 如何对无监督的styleGan生成器找到对应的特征 新创建一个encoder，用于对image编码获取其对应的z。方法是，通过训练好的styleGAN，获取z-生成image对，将该z-image作为训练集用于训练该编码器，则该编码器能够对任意一张图片获得其对应于该styleGAN的编码z，既可通过对该z进行扰动获得一些特征调整。 通过反向传播的方法，获取对应编码z。一个神
轻轻松松使用StyleGAN2（五）：StyleGAN2 Encoder源代码初探+中文注释，projector.py和project_images.py
weixin_41943311的博客
02-12 1万+
StyleGAN2 Encoder使用18x512的dlatents进行迭代优化，实现对目标图片的“无限逼近”并重建高质量图像，保存对应的dlatents用于后续处理。 获取StyleGAN2 Encoder，GitHub上的链接是： https://github.com/rolux/stylegan2encoder StyleGAN2 Encoder改写了StyleGAN2的project...
ClusterGAN: Latent Space Clustering in Generative Adversarial Networks论文理解
weixin_43897803的博客
07-16 452
目的：使用GAN在隐空间中进行聚类 一、背景 普通GAN的训练过程：minθGmaxθDEx∼Pxrq(D(x))+Ez∼Pzq(1−D(G(z)))min_{\theta G}max_{\theta D}\textbf{E}_{x\sim P^r_x}q(D(x))+\textbf{E}_{z\sim P_z}q(1-D(G(z)))minθG​maxθD​Ex∼Pxr​​q(D(x))+Ez∼Pz​​q(1−D(G(z)))，它无法在隐空间很好地聚类。 原因：GAN聚类的一个可能的方式是将数据反向传播到
什么是GAN隐空间
最新发布
Niuagha的博客
10-07 275
通过在GAN隐空间中随机采样或者调整向量的值，就可以生成新的数据、对数据进行编辑或者重排，从而产生丰富多彩的效果。在GAN模型训练结束后，使用生成器中的某个向量作为输入，就可以生成一个新的数据，这个向量就对应着GAN隐空间中的一个点。此外，GAN隐空间还具有线性组合性质，即将两个GAN隐空间中的向量进行加权平均，可以得到一个介于这两个向量之间的新向量，对应的图像也会产生连续变化。GAN隐空间指的是GAN模型中抽象概念的空间，这些概念通常由高维向量表示，并且被用于生成图像、视频和其他类型的数据。
【细节讲解】GAN: walking in latent space 如何探索潜在空间？结合DCGAN论文
月下花弄影
01-14 9762
结合DCGAN论文，本博客旨在讲解如何探索潜在空间。 在DCGAN中，我们利用噪声 zzz 产生图片。我们想探索噪声对最终图片的影响，并且试图证明GAN网络并不是简单的记住了训练样本。 这个噪声 zzz 所在的空间就是所谓的潜在空间。 看到DCGAN原文的人，一定知道怎么探索，那就是利用插值的方法。**但是如何插值呢？**本博客就是手把手教你如何插值。从理论到代码。 1.怎么做插值？ 随机噪声 z...
关于GAN网络的隐空间维度选择问题
大脸萌
10-04 3094
一般来说，我们可以认为图像、文字、音频等数据是分布在低维流形空间上的。 GANs通过generator将隐空间的点映射到数据空间中，那么，隐空间的维数怎么选择呢？这是一个值得研究的问题。这里以图像为例进行分析。 首先，隐空间维数不能太低，太低了容易丢失mode，也会产生mode collapse。也就是说，隐空间的维数有个下界，高于这个下界才有可能避免mode丢失的问题。这个下界就是流
（2022，latent spcae）GAN逆映射：综述
qq_44681809的博客
03-21 6306
GAN 逆映射把给定图像映射到预训练 GAN 模型的 latent space，以便生成器可以从 latent code 重建图像。作为一种连接真假图像域的新兴技术，GAN Inversion 使用预训练 GAN 模型进行真实图像编辑。此外，GAN Inversion 解释了 GAN 的 latent space 以及如何生成逼真的图像。在本文中，我们综述了 GAN Inversion，重点介绍了其代表性算法及其在图像恢复和图像处理中的应用。我们进一步讨论了未来研究的趋势和挑战。
看GAN如何一步步控制图像生成风格？详解StyleGAN进化过程
weixin_40920183的博客
04-20 2701
选自Medium作者：Jonathan Hui文章来源机器之心参与：魔王、杜伟GAN 能够有条不紊地控制其生成图像的风格吗？你了解自己的风格吗？大部分 GAN 模型并不了解。那么，GAN...
【实战】轻轻松松使用StyleGAN（二）：源代码初探+中文注释，generate_figure.py
weixin_41943311的博客
09-10 1万+
上周我们尝试使用StyleGAN的pretrained_example.py来生成人像和动漫少女头像，效果很不错，请参考： https://blog.csdn.net/weixin_41943311/article/details/100539707 但是，StyleGAN还是显得很神秘，网上可以查到的中文资料也非常少，于是决定由浅入深，探一探StyleGAN功能和代码的究竟。 先看一下St...
TL-GAN模型
红叶谷 wsp_1138886114的博客
10-28 2691
文章目录一、生成模型作用二、GAN 的两大类：风格迁移网络和条件生成器。2.1 风格迁移网络2.2 条件生成器2.3 Transparent Latent-space GAN 模型揭示特征轴沿着特征轴移动潜在向量结果解除相关特征轴之间的关联该方法具备以下显著优势： 一、生成模型作用 内容创建：想象一下，广告公司可以自动生成具有吸引力的产品图像，而且该图像不仅与广告内容相匹配，而且与镶嵌这些图片...
理解Latent Dirichlet Allocation：贝叶斯统计与Dirichlet分布
"Latent Dirichlet Allocation (LDA)笔记" Latent Dirichlet Allocation (LDA)是一种主题模型，用于发现文本...尽管如此，LDA仍然是主题建模领域的一个基础工具，对于理解和挖掘大量文本数据的内在结构具有重要意义。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值