weixin_44177594的博客

BEGAN摘要1.introduction2.method损失函数pixel-wiswthe lossesboundary equilibrium GAN网络结构结果摘要我们提出了一种新的均衡执行方法，并结合从wasserstein距离得到的损失来训练基于自动编码器的生成对抗网络。它提供了一种新的近似收敛测度;我们还推导出了一种控制图像多样性和视觉质量之间的权衡的方法。使用一个相对简单的模型架构和一个标准的培训程序。1.introductionpoint：去估计分布的分布误差之间的相似度而不是

LSGAN摘要这样改变的好处交叉熵的原因linearLSGAN损失函数模型构架一些tips：摘要Regular GANS：鉴别器作为分类器使用sigmoid cross entropy 损失函数问题：梯度消失LSGAN：鉴别器采用最小二乘损耗函数好处：更高的质量、更加的稳定重要的改变：将交叉熵损失函数换成最小二乘损失函数这样改变的好处交叉熵的原因还是之前的问题原本GAN的损失函数非常难训练，原因在于损失函数结果转换变成JS散度。linear之前我们使用的是sigmoid函数，一个阶段

EBGAN摘要一些科普EBM（energy based model）EBGANEBGAN贡献理论损失函数loss function的regularize问题结构图PT（pull-away term）正则项minibatch discriminatorEBGAN-PT另外摘要“Energy-based”：将鉴别器视为一个能量函数，将低能量归给数据流形附近的区域，将高能量归给其他区域。发生器被视为被训练以产生具有最小能量的对比样本，而鉴别器被训练成为这些生成的样本分配高能量，将鉴别器视为能量函数，除了通常具

SAGAN摘要introductionproblemsSAGAN的优点好处：SAGAN理论架构SAGAN 优化1. Spectral Normalization2. TTURmore details结果展示评估两个技巧self-attention机制摘要提出了一种基于自我注意力生成的对抗性网络(the Self-Attention Generative Adversarial Network), 可以注意力驱动、远距离依赖（long-range dependency）来完成生成图片的任务。传统的卷积GA

参考链接SNGANintroducemethod频谱范数实现奇异值conclusionintroduce现在我们的目的，是要保证对于每一个位置的 x，梯度的模都小于等于 1。在神经网络中，将梯度的模限制在一个范围内，抽象地来说就是让产生的函数更平滑一些，最常见的做法便是正则化。SNGAN（频谱归一化 GAN）为了让正则化产生更明确地限制，提出了用谱范数标准化神经网络的参数矩阵 W，从而让神经网络的梯度被限制在一个范围内。method频谱范数Lipschitz：我们的目的就是为了满足Li

import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_dataimport osimport numpy as npfrom scipy import misc,ndimage# 读入本地的MNIST数据集，该函数为mnist专用mnist = input_data.read_data_sets('MNIST_data')batch_size = 100# 每张图片包含28*28个像素点

WGAN_GPGANWGANWGAN解决的问题：改进的地方：WGAN的问题：weight clipping为什么会有问题？weight clipping的另外一个问题WGAN-GP引入算法框架GANWGAN之前总结的WGANWGAN解决的问题：彻底解决GAN训练不稳定的问题，不再需要小心平衡生成器和判别器的训练程度基本解决了collapse mode的问题，确保了生成样本的多样性训练过程中终于有一个像交叉熵、准确率这样的数值来指示训练的进程，这个数值越小代表GAN训练得越好，代表

代码from __future__ import print_function, divisionfrom keras.datasets import mnistfrom keras.layers import Input, Dense, Reshape, Flatten, Dropoutfrom keras.layers import BatchNormalization, Activation, ZeroPadding2Dfrom keras.layers.advanced_activati

WGANGAN基础思想WGAN解决的问题：改进的地方：Wasserstein distanceWGAN with WasserteinGAN基础思想WGAN解决的问题：1.彻底解决GAN训练不稳定的问题，不再需要小心平衡生成器和判别器的训练程度2.基本解决了collapse mode的问题，确保了生成样本的多样性3.训练过程中终于有一个像交叉熵、准确率这样的数值来指示训练的进程，这个数值越小代表GAN训练得越好，代表生成器产生的图像质量越高（如题图所示）4.以上一切好

DCGANCNNGANCNN+GANCNNCNN的介绍注意filter的深度问题，更容易理解GANGAN的介绍CNN+GANDCGAN就是把GAN中的G和D用CNN的架构替换，并且对一些激活函数的调整，总得说就是对网络架构的修改，并且非常厉害的调整参数。DCGAN中换成了两个卷积神经网络（CNN）的G和D，可以刚好的学习对输入图像层次化的表示，尤其在生成器部分会有更好的模拟效果。DCGAN在训练过程中会使用Adam优化算法。对于G部分的修改：用反卷积代替全连接网络（反卷积其实和卷积差不

GANbasic idea of GANgeneratordiscriminator基础的思想Theoretical Results手写数字举例algorithmstep1：fix G，update Dstep2：fix D， update GAdvantages and disadvantagesadvantagesdisadvantages第一个问题：训练困难、不稳定第二个问题：多样性不足developmentbasic idea of GANgenerator对于generation的认识