论文笔记:GAN Dissection: Visualizing and Understanding Generative Adversarial Networks

本文探讨了如何将网络解剖方法应用于GAN,通过可视化和度量指标揭示了GAN生成图像的过程,强调了单个单元检测物体的能力,并发现不同网络层对应的不同语义特征。此外,研究还指出在鉴别器中使用minibatch标准差可以提升生成多样性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

翻译过来就是“解剖GAN”。本文主要对GAN生成图像过程进行了可视化,提供了理论支撑和可解释性。

motivation

作者称,在论文《Network dissection:Quantifying interpretability of deep visual representations》提出,分类网络中,当units(一个unit指一张特征图(channel=1))被上采样并阈值化之后可以近似定位到将要形成的object(翻译过来还是有点不明白):

For image classification networks, Bau et al. (2017) has observed that many units can approximately locate emergent object classes when the units are upsampled and thresholded.
作者解释见 https://www.zhihu.com/question/57523080/answer/159650943

而后续工作《Interpreting deep visual representations via network dissection》提出,可以通过units和分割masks之间的一致性鉴别每个unit的语义:

we can identify the semantics of each unit (Zhou et al., 2015; Bau et al., 2017; Zhou et al., 2018a) by measuring agreement between unit activations and object segmentation masks.

同样是后续工作《Interpretable basis decomposition for visual explanation》提出,可以通过热力图解释单个网络决策,热力图高亮了网络中对分类预测贡献最多的区域:

We can explain individual network decisions using informative heatmaps (Zhou et al., 2018b; 2016; Selvaraju et al., 2017) or modified backpropagation (Simonyan et al., 2014; Bach et al., 2015; Sundararajan et al., 2017). The heatmaps highlight which regions contribute most to the categorical prediction given by the networks.

其实以上几篇的工作几乎都是同一个组完成的。。。这次他们将这个思想用到了GAN上。

method

在这里插入图片描述
对于生成器G来说,G中任意特别的层的输出r, r = h ( z ) , x = f ( r ) = f ( h ( z ) ) = G ( z )

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值