你的GAN再不听话，就把它暴力肢解了吧，有用 | Demo · 代码

最新推荐文章于 2024-03-21 23:14:54 发布
最新推荐文章于 2024-03-21 23:14:54 发布
阅读量1.6k 收藏
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yH0VLDe8VG8ep9VGe/article/details/84587230
版权
暴栗 发自 凹非寺
量子位 出品 | 公众号 QbitAI

640?wx_fmt=gif

这里有一只GAN，可以把尖耸的屋顶刷成圆的。

给天上的云换个姿势，一秒种起一棵树。

还可以，把草拔光。

640?wx_fmt=gif

△ 消除大法：触草木，尽死

MIT、IBM、港中大以及谷歌的科学家，用念力一组一组地控制了GAN的神经元，才支配了生成过程。

团队说，他们对GAN内在原理的了解程度，是前所未有的。所以，团队在一篇论文里，介绍了这种魔法。

现在，算法已开源，并有Demo可以玩，叫GANpaint。传送门见文底。

解锁GAN的隐藏原理，才能控制GAN

草，木，云，天，穹顶，砖瓦，房门......

每个元素，都对应GAN的其中一组神经元。

只要激活某一组神经元，抑制其他神经元，就可以有选择地生成想要的元素。

长期以来，人类任由GAN胡乱涂鸦，不大去追究它们作画的原理。

640?wx_fmt=jpeg

△ 43.2万美元成交的GAN肖像，谁也不知道它是怎样学会画人

而GANpaint团队心思细腻，想要看清GAN的内部是如何运作，就有了这项研究：

每次激活不同的神经元，相当于把GAN肢解 (Dissect) 开来，让人一点一点去领会；

团队还提出了一个分析框架 (Analytical Framework) ，把肢解过程可视化，就像Demo展示的那样。

讲一下步骤。

640?wx_fmt=png

△ 找到每个神经元负责的物体，是把分割网络 (T. Xiao, et al, 2018) 和肢解方法 (D. Bau, et al, 2017) 结合，达成的

首先，把跟某个物体 (比如树) 相关的、可解释的GAN单元 (Interpretable GAN Units) 挑出来。通俗说来就是根据特征图，找到哪些神经元对应哪个物体。

然后，衡量这些单元对物体的影响力有多强，量化出来。也就是说，不只是相关 (Correlated) ，神经元要能控制物体的变化，才有用。

最终，考察这些单元与背景之间的上下文关系 (Contextual Relationship) 。研究要在一幅图里生成某种物体，怎样才能不突兀。

团队说，为了理解GAN的内在原理，而做的系统性分析，这还是史上第一次。

640?wx_fmt=png

△ 43号单元，代表生成圆顶

还是刚才的栗子：要把尖顶变成圆顶，GAN要学习尖顶圆顶的特征，还要让生成的圆顶和原来的背景相处融洽。

而生成效果越自然，表示人类越发懂得控制GAN的神经元，也是理解GAN的工作原理了。

你也要试试么

想象，自己被追兵逼到一座古堡门前。你跑进了城堡，然后一秒把门GAN掉。安全。

640?wx_fmt=gif

然后，等追兵无功而返，再重新生成一道门跑出来。真是优秀的技能。

640?wx_fmt=gif

△ 这并不是什么城堡，但我真的GAN出一道门

再多的风景，就不一一列举了。

七个按钮，大家可以自己试试看，会不会生成什么惊喜。

毕竟，有人以为“去掉砖” (Brick x Remove) ，应该会是这样：

640?wx_fmt=gif

没有，不是我说的，不知道谁说的 (Twitter: @Jukkuden) 。

Demo传送门：
http://gandissect.res.ibm.com/ganpaint.html

代码传送门：
https://github.com/CSAILVision/GANDissect

论文传送门：
https://arxiv.org/pdf/1811.10597.pdf

— 完 —

年度评选申请

640?wx_fmt=jpeg

加入社群

量子位AI社群开始招募啦，欢迎对AI感兴趣的同学，在量子位公众号（QbitAI）对话界面回复关键字“交流群”，获取入群方式；


此外，量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。


进专业群请在量子位公众号（QbitAI）对话界面回复关键字“专业群”，获取入群方式。（专业群审核较严，敬请谅解）

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

640?wx_fmt=jpeg

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态


量子位
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
gandissect：基于Pytorch的工具，用于可视化和理解GAN神经元。 https：gandissect.csail.mit.edu
02-04
甘地 | | | 是一种检查生成对抗网络（GAN）的内部表示的方法，以了解内部单元如何与人类可解释的概念保持一致。 它是一部分。 此存储库可让您剖析GAN模型。 它以静态摘要或交互式可视化形式提供解剖结果。 试试我们的交互式，与GAN交互并绘制图像。 总览 ，， ，，，，MIT CSAIL，MIT-IBM Watson AI Lab，中大，IBM Research 在arXiv中，2018年。 分析与应用 GAN中的可解释单位 分析不同的层 诊断和改善GAN 从会议室移走物件 从不同的自然场景移除窗户 在图像中插入新对象 发行历史 v 0.9 alpha-2018年11月26日 入门
一个简单的GAN网络实例
04-04
一个简单的GAN网络实例，可直接运行，非常适合初学者入门！
tflearn kears GAN官方demo代码——本质上GAN是先训练判别模型让你能够识别噪声，然后生成模型基于噪声生成数据，目标是让判别模型出错。GAN的过程就是训练这个生成模型参数！！！...
djph26741的博客
06-15 570
GAN：通过 将 样本 特征 化 以后， 告诉 模型 哪些 样本 是 黑 哪些 是 白， 模型 通过 训练 后， 理解 了 黑白 样本 的 区别， 再输入 测试 样本 时， 模型 就可以 根据 以往 的 经验 判断 是 黑 还是 白。 与 这些 分类 的 算法 不同， GAN 的 基本 原理 是， 有两 个 相生相克 的 模型 Generator 和 Discriminator，Gene...
基于Keras的关于GAN的初学者demo
满月照亮的路
04-23 482
%tensorflow_version 1.x from keras.datasets import mnist from keras.layers import Dense,Dropout,Input from keras.models import Model,Sequential from keras.layers.advanced_activations import LeakyReLU...
GAN的基本总结和小型demo
Shane恆的博客
10-14 1333
GAN的基本总结和小型demo 关于GANS(Generative Adversarial Networks) 属于生成模型（generative models） 属于无监督学习（unsupervised learning） 在不给定目的值的情况下，学习所给数据的底层结构。 目前可生成最清晰的图像。 易于训练(不需要统计推断)，只需要反向推断就能够获得梯度。 由于训练动态不稳定，难以...
实用代码 20 CycleGAN性别转换
04-18
实用代码 20 CycleGAN性别转换实用代码 20 CycleGAN性别转换实用代码 20 CycleGAN性别转换实用代码 20 CycleGAN性别转换实用代码 20 CycleGAN性别转换实用代码 20 CycleGAN性别转换实用代码 20 CycleGAN性别转换实用...
tensorflow2.0 Cycle-GAN测试代码
04-28
tensorflow2.0 Cycle-GAN测试代码
AlGaN GaN HEMT-silvaco代码
12-30
关于AlGaN GaN HEMT器件的silvaco仿真代码
pgan_GaN_DEMO_PGAN_
10-01
gan的一个开源实现
GAN资料——代码、论文、各种资料
09-21
收集的GAN的资料，有代码、有论文、各种各样的，各个地方下载的，应该还挺有用的吧，后续会再上传一些其他的代码，
tensorflow_gan_demo.py例子
01-28
官方例子，深度学习专用，机器学习专用，代码简单，一看就会(tensorflow gan demo)
生成对抗网络demo源码gan_pytorch.py
05-28
代码使用两个对抗网络生成一个数据的分布，是一个非常好的生成对抗网络模型，Python直接运行，使用的pytorch作为深度学习引擎。对于入门深度学习的人很容易懂和了解生成对抗网络。本人控制不了下载所需积分 ，所以实在没积分的可以私信我。
34种不同类型的GAN网络
03-16
34种GAN网络，可以满足平时对GAN网络的学习和理解
GAN的demo代码注解（基于PyTorch）
HHzdh的博客
08-16 1212
1 导入相关功能包 argparse模块可以让人轻松编写用户友好的命令行接口。程序定义它需要的参数，然后argparse将弄清如何从sys.argv解析出那些参数。argparse模块还会自动生成帮助和使用手册，并在用户给程序传入无效参数时报出错误信息。（https://docs.python.org/zh-cn/3/library/argparse.html）。具体用法在代码块2。 os：在python环境下对文件，文件夹执行操作的一个模块（https://docs.python.o...
（转）ICLR 2019 《GAN DISSECTION: VISUALIZING AND UNDERSTANDING GENERATIVE ADVERSARIAL NETWORKS》
S20144144的博客
09-09 870
ICLR 2019 《GAN DISSECTION: VISUALIZING AND UNDERSTANDING GENERATIVE ADVERSARIAL NETWORKS》 ICLR 2019 《GAN DISSECTION: VISUALIZING AND UNDERSTANDING GENERATIVE ADVERSARIAL NETWORKS》 github Demo project...
GAN
guojingjuan的博客
10-18 803
DCGAN  CNN+GAN WGAN LSGAN https://github.com/xudonmao/LSGAN 稳定性WGAN最好，但生成图片相对模糊 生成图像细节上LSGAN>DCGAN>WGAN 稳定性上 WGAN>LSGAN>DCGAN
【GANs学习笔记】（十五）EBGAN、BEGAN
a312863063的博客
10-31 4055
2. EBGAN        EBGAN的全称是Energy-Based GAN，它只改动了discriminator，使其不再去鉴别输入图像是来自于还是，而是去鉴别输入图像的重构性高不高。具体来说就是，本来discriminator的目的是学会寻找与之间
AI绘画自动生成器：让艺术创作触手可及
最新发布
m0_62110645的博客
03-21 1392
AI绘画自动生成器作为一种新兴的技术，为人们提供了便捷的艺术创作工具。通过深度学习算法，用户可以轻松地生成符合自己需求的图像作品。然而，随着AI技术的不断发展，我们也要关注到由此带来的版权、伦理等问题。在享受AI技术带来的便利的同时，我们还需理性地看待其在艺术领域的应用。
《FutureGAN: Anticipating the Future Frames of Video Sequences using ……》论文笔记
Glooow的博客
10-15 981
FutureGAN: Anticipating the Future Frames of Video Sequences using Spatio-Temporal 3d Convolutions in Progressively Growing Autoencoder GANs 摘要 本文使用Autoencoder GAN模型，特点是网络结构简单，生成图片比较真实，但是最终的预测结果惨不忍睹。 ...
你能否给出pytorch实现self attention gan的代码
03-06
我可以回答这个问题，以下是pytorch实现self attention gan的代码： ```python import torch import torch.nn as nn import torch.nn.functional as F class SelfAttention(nn.Module): def __init__(self, in_dim): super(SelfAttention, self).__init__() self.query_conv = nn.Conv2d(in_channels=in_dim, out_channels=in_dim//8, kernel_size=1) self.key_conv = nn.Conv2d(in_channels=in_dim, out_channels=in_dim//8, kernel_size=1) self.value_conv = nn.Conv2d(in_channels=in_dim, out_channels=in_dim, kernel_size=1) self.gamma = nn.Parameter(torch.zeros(1)) def forward(self, x): batch_size, C, H, W = x.size() proj_query = self.query_conv(x).view(batch_size, -1, H*W).permute(, 2, 1) proj_key = self.key_conv(x).view(batch_size, -1, H*W) energy = torch.bmm(proj_query, proj_key) attention = F.softmax(energy, dim=-1) proj_value = self.value_conv(x).view(batch_size, -1, H*W) out = torch.bmm(proj_value, attention.permute(, 2, 1)) out = out.view(batch_size, C, H, W) out = self.gamma * out + x return out class Generator(nn.Module): def __init__(self, z_dim=100, image_size=64, conv_dim=64): super(Generator, self).__init__() self.image_size = image_size self.fc = nn.Linear(z_dim, (image_size//16)*(image_size//16)*8*conv_dim) self.conv1 = nn.ConvTranspose2d(8*conv_dim, 4*conv_dim, 4, 2, 1) self.conv2 = nn.ConvTranspose2d(4*conv_dim, 2*conv_dim, 4, 2, 1) self.conv3 = nn.ConvTranspose2d(2*conv_dim, conv_dim, 4, 2, 1) self.conv4 = nn.ConvTranspose2d(conv_dim, 3, 4, 2, 1) self.bn1 = nn.BatchNorm2d(8*conv_dim) self.bn2 = nn.BatchNorm2d(4*conv_dim) self.bn3 = nn.BatchNorm2d(2*conv_dim) self.bn4 = nn.BatchNorm2d(conv_dim) self.attn1 = SelfAttention(8*conv_dim) self.attn2 = SelfAttention(4*conv_dim) def forward(self, z): out = self.fc(z) out = out.view(-1, 8*self.conv_dim, self.image_size//16, self.image_size//16) out = F.relu(self.bn1(out)) out = F.relu(self.bn2(self.conv1(out))) out = self.attn1(out) out = F.relu(self.bn3(self.conv2(out))) out = self.attn2(out) out = F.relu(self.bn4(self.conv3(out))) out = torch.tanh(self.conv4(out)) return out class Discriminator(nn.Module): def __init__(self, image_size=64, conv_dim=64): super(Discriminator, self).__init__() self.conv1 = nn.Conv2d(3, conv_dim, 4, 2, 1) self.conv2 = nn.Conv2d(conv_dim, 2*conv_dim, 4, 2, 1) self.conv3 = nn.Conv2d(2*conv_dim, 4*conv_dim, 4, 2, 1) self.conv4 = nn.Conv2d(4*conv_dim, 1, 4, 1, ) self.bn1 = nn.BatchNorm2d(conv_dim) self.bn2 = nn.BatchNorm2d(2*conv_dim) self.bn3 = nn.BatchNorm2d(4*conv_dim) self.attn1 = SelfAttention(conv_dim) self.attn2 = SelfAttention(2*conv_dim) def forward(self, x): out = F.leaky_relu(self.conv1(x), .2) out = self.attn1(out) out = F.leaky_relu(self.bn2(self.conv2(out)), .2) out = self.attn2(out) out = F.leaky_relu(self.bn3(self.conv3(out)), .2) out = self.conv4(out) return out.view(-1, 1) ``` 希望能对你有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值