StyleGAN-v2 ADA 的 pytorch 代码分析与实际使用

最新推荐文章于 2024-03-21 09:58:15 发布
最新推荐文章于 2024-03-21 09:58:15 发布
阅读量4.1k 收藏 17
点赞数 4
分类专栏： 走在填坑路上 文章标签： 深度学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/winerchopin/article/details/113807034
版权

R e s o u r c e s \rm Resources Resources

 📋 P a p e r \rm Paper Paper >> T r a i n i n g   G e n e r a t i v e   A d v e r s a r i a l   N e t w o r k s   w i t h   L i m i t e d   D a t a \rm Training~Generative~Adversarial~Networks~with~Limited~Data Training Generative Adversarial Networks with Limited Data
💻 C o d e s \rm Codes Codes >>tensorflow/pytorch
📰 B l o g s \rm Blogs Blogs  >> C S D N : \rm CSDN: CSDN: T r a i n i n g   G e n e r a t i v e   A d v e r s a r i a l   N e t w o r k s   w i t h   L i m i t e d   D a t a \rm Training~Generative~Adversarial~Networks~with~Limited~Data Training Generative Adversarial Networks with Limited Data

A n a l y s i s \rm Analysis Analysis

1. 1. 1. 计算 L a d v L_{adv} Ladv​ 时，前馈真实样本或伪样本给鉴别器 D D D;

## 对生成伪样本
fake_logits = self.run_D(fake_img, fake_c)
## 对真实训练样本
real_logits = self.run_D(real_img, real_c)

2. 2. 2. run_D 的具体细节为：

def run_D(self, img, c):
    ## 使用定义的含 p 的数据增强流水线作 aug
    img = self.augment_pipe(img) 
    logits = self.D(img, c)
    return logits

3. 3. 3. 记录 L a d v L_{adv} Ladv​ 和 E [ s i g n ( D t r a i n ) ] {\mathbb E}[\rm sign (D_{train})] E[sign(Dtrain​)] （这里使用的是 WGAN，所以 L a d v L_{adv} Ladv​ 计算方式比较简单， min ⁡ / max ⁡ \min/\max min/max ?_logits 即可）

training_stats.report('Loss/scores/real', real_logits)
training_stats.report('Loss/signs/real' , real_logits.sign()) ## 👈

4. 4. 4. 具体的，每一个被 r e p o r t e d \rm reported reported 的状态（统计数据 s t a t i s t i c \rm statistic statistic）被记录了 3 个统计量： 

## `elems` 是一个形参，这里考虑 tensor `logits`
moments = torch.stack([
    torch.ones_like(elems).sum(), ## 记录数量 (count)
    elems.sum(),                  ## 求和
    ## 计算 E[sign(D_train)] 只需要前两个统计量，即：moments[1]/moments[0]
    elems.square().sum(),
])

5. 5. 5. 累计前面 4. 4. 4. 记录的数据 moments of real_logits，累积（会使用到 _moments.add_(moments)） N = 4 N=4 N=4 次迭代（ i t e r / m i n i b a t c h \rm iter/minibatch iter/minibatch）
6. 6. 6. 通过获取 E [ s i g n ( D t r a i n ) ] \mathbb E[\rm sign(D_{train})] E[sign(Dtrain​)] 来动态更新 p 

# Execute ADA heuristic.
if (ada_stats is not None) and \ ## 是否使用 ADA 这一项技术
   (batch_idx % ada_interval == 0): ## N 值
    ada_stats.update()
    adjust = np.sign(ada_stats['Loss/signs/real'] - ada_target) \ ## ada_target 是 r_t 的阈值，文中设置是 0.6
                                                                  ## ada_stats['Loss/signs/real'] = moments_of_real_logits[1]/moments_of_real_logits[0]
             * (batch_size * ada_interval) / (ada_kimg * 1000)    ## 增益，the gain := (BxN)/SCALE, `B` is batch size, `N` is # of batches; all-in-all, it is FIXED.
    ## 更新 p 值
    augment_pipe.p.copy_((augment_pipe.p + adjust)\               ## D 偏强，则 adjust 为正，Aug 强度适当增大；D 偏弱，则 adjust 为负，Aug 强度适当减弱
                         .max(misc.constant(0, device=device)))   ## clip/truncate，限制概率在有效范围

U s a g e   o f   A u g P i p e \rm Usage~of~AugPipe Usage of AugPipe

引用脚本文件 ./training/augment.py，直接初始化 nn.Module 模块——

import augment

aug_pipe = augment.AugmentPipe()
## input --type=torch.tensor --size=(N,C,H,W)
aug_input = aug_pipe(input)

B T W \rm BTW BTW，这个项目对于 pytorch 多线程、多卡并行训练编程有非常好的借鉴性，木奉👍！

萧班
关注
  • 4
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
stylegan2-ada-pytorch:StyleGAN2-ADA-官方PyTorch实施
03-07
StyleGAN2-ADA —官方PyTorch实施 用有限的数据训练生成对抗网络Tero Karras，Miika Aittala，Janne Hellsten，Samuli Laine，Jaakko Lehtinen，Timo Aila 摘要：使用太少的数据训练生成对抗网络（GAN）通常会导致判别器过度拟合，从而导致训练分散。 我们提出了一种自适应鉴别器增强机制，该机制可显着稳定有限数据环境中的训练。 该方法不需要更改丢失功能或网络体系结构，并且适用于从头开始训练以及在其他数据集上对现有GAN进行微调时。 我们在几个数据集上证明，仅使用几千个训练图像就可以取得良好的效果，并且通常将StyleGAN2的结果与较少的图像数量级进行匹配。 我们希望这将为GAN开辟新的应用程序域。 我们还发现，实际上，广泛使用的CIFAR-10只是一个有限的数据基准，并将记录FID从5.59提高到2.4
StyleGAN2-ADA （代码理解）
简单记录生活、学习
08-29 2511
StyleGAN2-ADA （代码理解）
探索StyleGAN2-ADA-PyTorch：下一代人工智能图像生成模型
最新发布
gitblog_00089的博客
03-21 421
探索StyleGAN2-ADA-PyTorch：下一代人工智能图像生成模型 项目地址:https://gitcode.com/NVlabs/stylegan2-ada-pytorch 在深度学习的世界中，生成对抗网络（GANs）一直是引人入胜的研究领域，而NVIDIA的StyleGAN2-ADA正是这一领域的杰出代表。这个开源项目是基于PyTorch实现的，它不仅提供了强大的图像生成能力，还引入...
stylegan2ada：用于练习的StyleGAN2-ada
02-09
GAN2-ada练习 此版本基于的最新StyleGAN2- 主要面向同行艺术家，他们很少关注科学指标，而是需要一个有效的创作工具。 在Python 3.7 + PyTorch 1.7.1上进行了测试，需要才能进行序列到视频的转换。 有关更明确的详细信息，请参阅原始实现。 这是先前，可生成兼容的模型（反之亦然）。 我仍然喜欢使用它进行少量训练（约100张imgs）和模型手术技巧（尚未在此处移植）。 产品特点 以任意分辨率进行推理（图像生成）（最终在TF和Torch上都适当填充） 带分割帧或蒙版混合的多潜伏推理 非正方形长宽比支持（从数据集中自动选取；分辨率必须可被2 ** n整除，例如512x256、1280x768等） 透明度（alpha通道）支持（从数据集中自动选择） 使用普通图像子文件夹作为条件数据集 源自时髦“离题”推理技术 几种操作格式：： Windows批处理文件，如
在Pytorch中最简单的Stylegan2工作实现-python
06-18
在Pytorch中最简单的Stylegan2工作实现 用于 Pytorch 的简单 StyleGan2 基于 https://arxiv.org/abs/1912.04958 的 Stylegan2 的简单工作 Pytorch 实现 下面是一些不存在的花。 这些手和这些城市都没有安装您将需要一台安装了 GPU 和 CUDA 的机器。 然后 pip install 像这样的包 $ pip install stylegan2_pytorch 如果您使用的是 Windows 机器，据报道以下命令有效。 $ conda install pytorch torchvision -c python $ pip install stylegan2_pytorch 使用 $ stylegan2_pytorch --data /path/to/images 就是这样。 示例图像将保存到结果/默认，模型将定期保存到模型/默认。 高级使用你可以用 $ stylegan2_pytorch --data /path/to/images --name my-project-name 指定你的项目名称你也
Note_StyleGAN_2.pdf
01-12
第一章 StyleGAN原理介绍 ................................ ................................ ................................ ................. 3 1.1 StyleGAN StyleGAN的前身 —— ProGAN ProGAN ................................ ................................ ............................. 3 1.2 StyleGAN 1.2 StyleGAN 架构解读 ................................ ................................ ................................ .................. 4 第二章 StyleGAN代码解读 ................................ ................................ ................................ ................. 9 2.1 StyleGAN 2.1 StyleGAN 代码架构总览 ................................ ................................ ................................ ......... 9 2.2 网络架构代码解读 ................................ ................................ ................................ ................. 10 2.3 损失函数代码解读 ................................ ................................ ................................ ................. 27 2.4 训练过程代码解读 ................................ ................................ ................................ ................. 30 第三章 StyleGAN模型修改与拓展 ................................ ................................ ................................ . 33 3.1 如何修改 StyleGAN 架构 ................................ ................................ ................................ ..... 33 3.2 如何拓展 StyleGAN 组件 ................................ ................................ ................................ ..... 33 3.3 如何指定 仅拓展组件的参数更新而固Generator Generator Generator Generator 参数 ................................ ........ 34 3.4 拓展组件无法 梯度反向传播的解决方................................ ................................ ....... 34 3.5 StyleGAN 3.5 StyleGAN 衍生论文介绍 ................................
stylegan2-ada-pytorch-tools:与Nvidia的stylegan2配合使用的工具和脚本
03-18
stylegan2-ada-pytorch-工具 与Nvidia的stylegan2配合使用的工具和脚本 合作 包含用于设置Google Colab的Shell脚本。 在终端中运行bash install_env.sh 键入conda activate stylegan 运行bash install_stylegan.sh
StyleGAN2代码PyTorch版逐行学习（上）
qq_43522986的博客
06-09 9533
超长代码笔记
基于GAN的图像生成（StyleGAN2）
qq_20373723的博客
10-26 7629
测试链接：GitHub - NVlabs/stylegan2-ada-pytorch: StyleGAN2-ADA - Official PyTorch implementation 作者说了这个项目在Windows和Linux上都可以跑，但是我Windows遇到一个错误根本解决不了，只能在Linux上跑，如果你在Windows上遇到了很难解决的问题并且花了一段时间了，那千万不要头铁继续了，就到Linux上跑下，没有Linux就把电脑划出一点空间装双系统，环境配置好了，在Linux上跑基本没有什么问题，.
StyleGAN2代码阅读笔记
read, note and comment papers
01-13 2622
styleGAN2 pytorch源码阅读笔记
阅读论文StyleGAN2-ada
子燕若水的博客
11-05 187
进一步解释可逆变换的关键在于允许仅通过观察增强后的集合就可以推断原始集合的相等性或不等性。然而,如以0.25的概率进行0/90/180/270度随机旋转则不是可逆的,因为旋转后无法分辨不同方向。图片中的蓝色元素表示和变换相关的操作，而其他的元素表示标准的GAN训练过程，包括生成器G和判别器D¹²。图片中的橙色元素表示损失函数，而绿色的框表示正在训练的网络¹²。在图像分类任务中,使用旋转、噪声等数据增强方法训练图像分类器,可以提高分类器对这些保留语义的扭曲的不变性,这是图像分类器极为期望的一种质量。
Gan图像生成器-BigGan
10-13
丰富的背景和纹理图像的生成是各类生成模型追求的终极目标，ImageNet 的生成已然 成为检验生成模型好坏的一个指标。 在各类生成模型中，GAN 是这几年比较突出的，18 年新出的 SNGAN [1]、 SAGAN [2] 让 GAN 在 ImageNet 的生成上有了长足的进步，其中较好的 SAGAN 在 ImageNet 的128x128 图像生成上的 I n c e p t i o n S c o r e ( I S ) [3] 达到了 52 分。 BigGAN 在 SAGAN 的基础上一举将 IS 提高了 100 分，达到了 166 分（真实图片也 才 233 分），可以说 BigGAN 是太秀了
stargan-v2:StarGAN v2-官方PyTorch实施（CVPR 2020）
05-12
StarGAN v2-官方PyTorch实施 StarGAN v2：多个域的多样化图像合成*，* *，*，在CVPR 2020中。（*表示相等的贡献） 论文： : 视频： ： 摘要：良好的图像到图像转换模型应学习不同视觉域之间的映射，同时满足以下属性：1）生成图像的多样性和2）在多个域上的可伸缩性。 现有方法解决了其中一个问题，即对于所有域而言，其多样性有限或具有多个模型。 我们提出了StarGAN v2，这是一个可以同时解决这两个问题的框架，并且在基线之上显示出明显改善的结果。 在CelebA-HQ和新的动物面Kong数据集（AFHQ）上进行的实验验证了我们在视觉质量，多样性和可伸缩性方面的优越性。 为了更好地评估图像到图像的翻译模型，我们发布了AFHQ，具有较大域间和域内差异的高质量动物脸。 代码，预训练模型和数据集可在clovaai / stargan-v2中找到。 宣
stylegan2-pytorch:PyTorch中分析和改善StyleGAN（StyleGAN 2）图像质量的实现
04-28
PyTorch中的StyleGAN 2 在PyTorch中实现并改善StyleGAN的图像质量（ ） 注意 我试图尽可能接近官方实施，但也许我遗漏了一些细节。 因此，请谨慎使用此实现。 要求 我已经测试过： PyTorch 1.3.1 CUDA 10.1 / 10.2 用法 首先创建lmdb数据集： python prepare_data.py --out LMDB_PATH --n_worker N_WORKER --size SIZE1，SIZE2，SIZE3，... DATASET_PATH 这会将图像转换为jpeg并预先调整其大小。 此实现不使用渐进式增长，但是对于以后要尝试其他分辨率的情况，可以使用带有逗号分隔列表的大小参数来创建多个分辨率数据集。 然后您可以在分布式设置中训练模型 python -m torch.distributed.launch --nproc
Deformable-Convolution-V2-PyTorch:PyTorch中的可变形ConvNets V2（DCNv2）
04-13
PyTorch中的Deformable-ConvNets-V2 此存储库是的实现。 从原始移植。 有关完整框架，请参考此。 在可以找到基于mmdetection代码库的DCNv2的结果。 非常感谢强大而干净的框架。 master分支中的运算符与pytorch_v0.4.1兼容。 对于pytorch v1.0.0（由Jiajiai 实现）上的运算符，请参阅。 多亏了和mmlab的其他贡献者，DCNv2现在已基于该分支的主分支纳入正式的mmdetection回购中。 现在，它是使用新的cpp扩展api编写的，并且支持PyTorch 0.4.1和1.0，但速度和内存优化较小。 结果和模型可以在找到。 建造 sh make.sh 有关用法示例，请参见test.py和test_modulated.py 。 注意 此仓库提供了可变形的conv层，该层可在Deformable ConvNets
笔记本电脑的键盘突然用不了怎么办(┬＿┬)？！
WinerChopin的博客
01-21 8407
作为一个铁打的程序员，如果突然键盘用不了，那无异于打断了我们的双手，脑海中一大堆的代码想要溢出却无法打出来，简直无法想象！今天晚上由于手贱下载了个VMware的清理软件，不小心把键盘驱动的注册表信息也删除了，然后就各种GG，瞎紧张了半个多小时，终于做好了！ 特以此写了一篇博客，压压惊！！ 第一步，在【开始处】输入regedit，打开注册表。读者会说你不骗我吗？都说了键盘失灵了！还好小编之前装了...
Python使用matplotlib绘制堆积图
WinerChopin的博客
08-28 7958
堆积图，在计算机视觉的论文中是相当常见而表现力极强的一种图示方法，其表现为： 在固定高度的矩形中，根据某一些数值意义相同的不同变量根据其数值大小占据矩形中连续的高度； 其与饼图相相似，都可以很清晰地表示不同变量所占比重大小的不同； 而它又优于饼图，当我们把不同时间状态下的比较结果拼接起来后，就可以很清楚看到随着时间的演进或者进程的进行，这些变量的权重比例发生的变化和趋势！ 效果如下—— ...
想在 Ubuntu 上放飞梦想的小黑菜（1）
WinerChopin的博客
11-12 375
1. Ubuntu 重启后只有一个贼丑的分辨率 2. 安装 driver.run sudo sh NVIDIA-Linux-x86_64-440.31.run --no-opengl-files –no-x-check –no-nouveau-check 3. 安装网卡驱动
cvae-gan-zoos-pytorch-beginner
06-25
### 回答1： cvae-gan-zoos-pytorch-beginner这个词汇代表一个初学者使用PyTorch框架进行CVAE-GAN（生成式对抗网络变分自编码器）的编码器，这个网络可以在数据集中进行分析学习，并将数据转换为可以生成新数据的潜在向量空间。该网络不需要通过监督学习标签分类，而是直接使用数据的分布。这个编码器的目的是从潜在空间中生成新数据。此模型可以用于不同的任务，例如图像生成和语音生成。 为了实现这一目标，这一模型采用了CVAE-GAN网络结构，其中CVAE（条件变分自编码器）被用来建立机器学习模型的潜在空间，GAN（生成式对抗网络）作为一个反馈网络，以实现生成数据的目的。最后，这个模型需要使用PyTorch框架进行编程实现，并对数据集进行分析和处理，以便输入到模型中进行训练。这个编码器是一个比较复杂的模型，因此，初学者需要掌握深度学习知识和PyTorch框架的相关知识，并有一定的编程经验，才能实现这一任务。 总的来说，CVAE-GAN是一个在生成数据方面取得了重大成就的深度学习模型，可以应用于各种领域，例如图像、语音和自然语言处理等。然而，对于初学者来说，这是一个相对复杂的任务，需要掌握相关知识和技能，才能成功实现这一模型。 ### 回答2： cvae-gan-zoos-pytorch-beginner是一些机器学习领域的技术工具，使用深度学习方法来实现动物园场景的生成。这些技术包括：生成式对抗网络（GAN）、变分自编码器（CVAE）和pytorch。GAN是一种基于对抗机制的深度学习网络，它可以训练出生成逼真的场景图像；CVAE也是一种深度学习网络，它可以从潜在空间中提取出高质量的场景特征，并生成与原图像相似的图像；pytorch是一个深度学习框架，它可以支持这些技术的开发和实现。 在这个动物园场景生成的过程中，通过GAN和CVAE的组合使用可以从多个角度来创建逼真而多样化的动物园场景。此外，pytorch提供了很多工具和函数来简化代码编写和管理数据，使得训练过程更加容易和高效。对于初学者们来说，这些技术和框架提供了一个良好的起点，可以探索深度学习和图像处理领域的基础理论和实践方法，有助于了解如何使用技术来生成更好的图像结果。 ### 回答3： CVaE-GAN-ZOOS-PyTorch-Beginner是一种结合了条件变分自编码器（CVaE）、生成对抗网络（GAN）和零样本学习（Zero-Shot Learning）的深度学习框架。它使用PyTorch深度学习库，适合初学者学习和使用。 CVaE-GAN-ZOOS-PyTorch-Beginner的主要目的是提供一个通用的模型结构，以实现Zero-Shot Learning任务。在这种任务中，模型要从未见过的类别中推断标签。CVaE-GAN-ZOOS-PyTorch-Beginner框架旨在使模型能够从已知类别中学习无监督的表示，并从中推断未知类别的标签。 CVaE-GAN-ZOOS-PyTorch-Beginner的结构由两个关键部分组成：生成器和判别器。生成器使用条件变分自编码器生成潜在特征，并进一步生成样本。判别器使用生成的样本和真实样本区分它们是否相似。这样，生成器被迫学习产生真实的样本，而判别器则被迫学习区分真实的样本和虚假的样本。 总的来说，CVaE-GAN-ZOOS-PyTorch-Beginner框架是一个强大的工具，可以用于解决Zero-Shot Learning问题。它是一个易于使用的框架，适合初学者学习和使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值