![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
GAN
月下花弄影
登山,高一步则多一层境界
展开
-
GAN 对抗生成网络中什么是模式倒塌mode collapse?
本篇博文讲讲对抗生成网络中的模式倒塌问题,可以讲,这个问题是我们生成网络的重要难题之一。实际上,我觉得在我们人类的学习过程中也会出现类似的情况。在GAN中,有一个生成器,还有一个判别器,生成器就是生成图片或者其他的什么,而判别器就是帮助生成器不断变好。有人将生成器和判别器理解成造假钞和辨别假钞的。两者的能力都互相增长。刚开始生成器并不好,假钞一点也不像真的,这时候判别器很轻松的就知道了假钞是假...原创 2019-11-06 20:24:21 · 7668 阅读 · 0 评论 -
【深度理解】如何评价GAN网络的好坏?IS(inception score)和FID(Fréchet Inception Distance)
原文地址在对抗生成网络中,判别器和生成器的目标函数通常都是用来衡量它们各自做的怎么样的。例如,生成器的目标函数用来衡量生成的图片能骗过分类器的性能。但是这并不能很好的衡量生成图片的质量和多样性。通常,我们使用IS(inception score)和FID(Fréchet Inception Distance)这两个指标来评价不同的GAN模型。IS(inception score)IS用来...原创 2019-01-14 20:32:26 · 79752 阅读 · 58 评论 -
如何进行 batch normalization 2d 的计算?
Batch Noramlization 基本算是深度学习的标准配置了。原文链接在看文章时,关于如何计算有一点疑惑。虽然就是上面这个公式,但是这个均值和方差到底是啥,或许有人和我一样还是有一点疑惑。准确来说,这个均值和方差的维度是什么?以二维batch Normalization 为例,结合 pytorch 程序,本文说一下相关内容。pytorch的 Batch Normalizati...原创 2019-02-14 17:13:11 · 5337 阅读 · 10 评论 -
orthogonal regulatization 正交规范化
这个方法现在被很多文章应用。本文就讲讲这个orthogonal regularization, 可以翻译成正交规范化。这个方法首先出现在这篇文章里:LCLR2017文章,2018年,也出现于BigGAN。最开始,2014年只是在初始化的时候让卷积核参数都是正交的。 而orthogonal regularization认为参数如果一直保持正交特性将会发挥作用。为什么要用正交规范化?在神经网络...原创 2019-01-23 13:25:32 · 6490 阅读 · 0 评论 -
SA-GAN: self-attention 的 pytorch 实现(针对图像)
############################### self attention layer# author Xu Mingle# time Feb 18, 2019##############################import torch.nn.Moduleimport torchimport torch.nn.initdef init_conv(conv,...原创 2019-02-18 16:14:14 · 6904 阅读 · 6 评论 -
GAN:如何求Discriminator辨别器纳什均衡?(绝对简单,只要懂得基本求导)
本文讲讲如何求解GAN(生成对抗)网络中Discriminator的纳什均衡点。在看GAN相关的理论文章时,经常会被某些表达和理由给卡住。本文试图解决其中一个。先抛出问题:在GAN第一篇论文中,说纳什均衡点是D输出总是0.5,这个0.5是怎么得到的?在一些文章中,有如下图这样的公式,如何理解?:其实,这两个表达比较类似。以下正文:先说明将会用到的参数的含义:xxx 表示输入...翻译 2019-02-25 17:44:45 · 6321 阅读 · 4 评论 -
深度学习(GAN)中concatenate 和 add的区别
在深度学习中,有时候我们会涉及到两个特征结合,在使用卷积情况下就涉及feature map的结合。一般情况下,feature maps的结合有两种方法,一种是元素对应相加,简称add,另一种就是把特征图堆到一起来,简称concatenate。以下先详细说一下怎么操作。假设feature map 1 的维度为B1∗C1∗H1∗W1B_1*C_1*H_1*W_1B1∗C1∗H1∗W1, ...原创 2019-06-07 16:14:02 · 8072 阅读 · 0 评论 -
论文阅读与机制理解pix2pix: Image-to-Image Translation withConditional Aversarial Networks
L2和L1损失,用来减少生成图像和目标图像像素之间的距离,这会导致图像模糊(实验结果就表明L1生成的图像像素值处于中间水平),因为这样的损失函数通过对所有可能的输出像素值的平均来减少像素之间的距离。从数学上来说,在-1到1范围内,L1损失是比L2损失要偏大的,那么L1的平均效果应该比L2的要大,也就可以推测L1会比L2更加模糊,但这与他们的结果相反,不知我错在何处?L1和L2损失可以用来将生成...原创 2019-07-10 17:17:09 · 607 阅读 · 0 评论