![](https://img-blog.csdnimg.cn/20190111123655313.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
GAN之基础理论
从基础上探索GAN,主要讲解理论基础。适当的结合程序讲解。
月下花弄影
登山,高一步则多一层境界
展开
-
GAN前沿问题讨论:GAN的训练和batch size的关系
我们知道再图像分类任务中,较大的batch size有助于提升分类性能,那么我们的问题是较大的batch size是否能提升GAN的性能呢?有人或许觉得这个答案应该是肯定的。毕竟大多数GAN中,discriminator就是一个图像分类器。如果大的batch size能够对梯度噪声有一定减缓作用的,那么它应该可以加速训练过程。但是,GAN还有一个问题是普通分类器所没有的:GAN的训练可能会发散...原创 2020-04-10 13:21:42 · 4741 阅读 · 3 评论 -
总结与归纳:深度神经网络中的数据融合方法
相加 add非线性相加(结合注意力机制)相乘 multiply相连 concatenate统计数据融合(normalization)参考文献1: Selective Kernel Networks2: Large Scale GAN Training for High Fidelity Natural Image Synthesis3: Toward Multimod...原创 2020-04-09 18:05:09 · 14200 阅读 · 4 评论 -
对抗生成网络GAN可以合成什么样的模型和数据?
目前,大多数的GAN都主要集中在生成图像上,且依赖于一些标准的数据集。像MNIST,CIFAR-10,STL,CelebA和imageNet等。传闻中,GAN在某些数据集上要好于另一些数据集。特别的,生成像CIFAR-10和CelebA的图片要比生成像imagenet一样的图片要容易些。还有一些人注意到用GAN生成像ImageNet这样有很多标签或者类的图像有点难。这些经验基本上都有一些实验结果支...原创 2020-04-09 15:27:18 · 3059 阅读 · 2 评论 -
GAN 对抗生成网络中什么是模式倒塌mode collapse?
本篇博文讲讲对抗生成网络中的模式倒塌问题,可以讲,这个问题是我们生成网络的重要难题之一。实际上,我觉得在我们人类的学习过程中也会出现类似的情况。在GAN中,有一个生成器,还有一个判别器,生成器就是生成图片或者其他的什么,而判别器就是帮助生成器不断变好。有人将生成器和判别器理解成造假钞和辨别假钞的。两者的能力都互相增长。刚开始生成器并不好,假钞一点也不像真的,这时候判别器很轻松的就知道了假钞是假...原创 2019-11-06 20:24:21 · 7668 阅读 · 0 评论 -
如何进行 batch normalization 2d 的计算?
Batch Noramlization 基本算是深度学习的标准配置了。原文链接在看文章时,关于如何计算有一点疑惑。虽然就是上面这个公式,但是这个均值和方差到底是啥,或许有人和我一样还是有一点疑惑。准确来说,这个均值和方差的维度是什么?以二维batch Normalization 为例,结合 pytorch 程序,本文说一下相关内容。pytorch的 Batch Normalizati...原创 2019-02-14 17:13:11 · 5337 阅读 · 10 评论 -
orthogonal regulatization 正交规范化
这个方法现在被很多文章应用。本文就讲讲这个orthogonal regularization, 可以翻译成正交规范化。这个方法首先出现在这篇文章里:LCLR2017文章,2018年,也出现于BigGAN。最开始,2014年只是在初始化的时候让卷积核参数都是正交的。 而orthogonal regularization认为参数如果一直保持正交特性将会发挥作用。为什么要用正交规范化?在神经网络...原创 2019-01-23 13:25:32 · 6491 阅读 · 0 评论 -
【细节讲解】GAN: walking in latent space 如何探索潜在空间?结合DCGAN论文
结合DCGAN论文,本博客旨在讲解如何探索潜在空间。在DCGAN中,我们利用噪声 zzz 产生图片。我们想探索噪声对最终图片的影响,并且试图证明GAN网络并不是简单的记住了训练样本。这个噪声 zzz 所在的空间就是所谓的潜在空间。看到DCGAN原文的人,一定知道怎么探索,那就是利用插值的方法。**但是如何插值呢?**本博客就是手把手教你如何插值。从理论到代码。1.怎么做插值?随机噪声 z...原创 2019-01-14 14:55:08 · 9680 阅读 · 4 评论 -
【深度理解】如何评价GAN网络的好坏?IS(inception score)和FID(Fréchet Inception Distance)
原文地址在对抗生成网络中,判别器和生成器的目标函数通常都是用来衡量它们各自做的怎么样的。例如,生成器的目标函数用来衡量生成的图片能骗过分类器的性能。但是这并不能很好的衡量生成图片的质量和多样性。通常,我们使用IS(inception score)和FID(Fréchet Inception Distance)这两个指标来评价不同的GAN模型。IS(inception score)IS用来...原创 2019-01-14 20:32:26 · 79752 阅读 · 58 评论 -
一图归纳三大种类矩阵范数:诱导范数,元素范数,Schatten范数,涵盖谱范数,2范数
原创 2019-02-24 13:43:54 · 8998 阅读 · 4 评论