深度对抗型网络

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/Tony_wei01/article/details/82560937

生成模型(GenerativeModel)是一种可以通过学习训练样本来产生更多类似样本的模型。在所有生成模型当中,最具潜力的是生成对抗网络(Generative Adversarial Networks, GANs)。GANs 是非监督机器学习的一种,它的运作方式可被看做是两个神经网络相互竞争的零和游戏(zero-sum game)。

时间要回溯到2014年,Ian Goodfellow等人在GenerativeAdversarial Nets》一文中首次提出了GANs,标志着GANs的诞生。主要的思想以及实现:

生成对抗网络(Generative adversarial network, GAN) 是Goodfellow 等在2014 年提出的一种生成模型. 不同于传统生成模型, 其在网络结构上除了生成网络外, 还包含一个判别网络. 生成网络与判别网络之间是一种对抗的关系. 对抗的思想源
自博弈论(Game theory), 博弈双方在平等的对局中各自利用对方的策略变换自己的对抗策略, 以此达到获胜目的. 引申到生成对抗网络中, 即生成器和判别器为博弈双方, 生成器拟合数据的产生过程生成模型样本, 优化目标是达到纳什均衡, 使
生成器估测到数据样本的分布. GAN 目前在图像和视觉领域得到了广泛的研究和应用, 已经可以生成数字和人脸等物体对象, 构成各种逼真的室内外场景, 从分割图像恢复原图像, 给黑白图像上色, 从物体轮廓恢复物体图像, 从低分辨率图像生成高分辨率图像.

生成对抗网络的原理:

生成对抗网络(GAN) 由两个模型构成, 生成模型G 和判别模型D, 随机噪声z 通过G 生成尽量服从真实数据分布Pdata 的样本G(z), 判别模型D可以判断出输入样本是真实数据x 还是生成数据G(z).
这里写图片描述

GAN 核心算法描述:

这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

原文链接:https://arxiv.org/pdf/1406.2661v1.pdf

PPT链接:http://www.iangoodfellow.com/slides/2016-12-04-NIPS.pdf

源码链接:https://github.com/goodfeli/adversarial

视频链接:https://www.youtube.com/watch?v=HN9NRhm9waY

最优化问题表达

对于 D 而言要尽量使公式最大化(识别能力强),而对于 G 又想使之最小(生成的数据接近实际数据)。整个训练是一个迭代过程。其实极小极大化博弈可以分开理解,即在给定 G 的情况下先最大化 V(D,G)V(D,G) 而取 D,然后固定 D,并最小化 V(D,G)V(D,G) 而得到 G。

一、最新研究论文(根据Google Scholar的引用数进行降序排列)

基于深度卷积生成对抗网络的无监督学习(Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks (DCGANs))2015

原文链接:https://arxiv.org/pdf/1511.06434v2.pdf

主要工作:CNNs的无监督学习受到了较少的关注。该文的主要工作就是利用CNN来实现GAN, Alec Radford 和 Luke Metz(FaceBook AI Reserach 团队)通过引入一类具有特定结构约束的CNN,深卷积生成对抗网络(DCGAN),并证明它们是优秀的无监督学习器。

这里写图片描述

用交错卷积(鉴别器)和分数阶卷积(生成器)替换任何汇集层:池化层主要是使得训练参数的减少数量,在随后的卷积层之间周期性地引进池化层。池化的唯一目的是减少图像的空间大小。池化在每一个纵深维度上独自完成,因此图像的纵深保持不变。池化层的最常见形式是最大池化,还有平均池化层,用的较少就不作介绍了。最大池化层的效果如下图所示:

对抗实例的解释和利用(Explaining and Harnessing Adversarial Examples)2014

原文链接:https://arxiv.org/pdf/1412.6572.pdf

基于深度生成模型的半监督学习( Semi-Supervised Learning with Deep Generative Models )2014

原文链接:https://arxiv.org/pdf/1406.5298v2.pdf

基于拉普拉斯金字塔生成式对抗网络的深度图像生成模型(Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks)2015

原文链接:http://papers.nips.cc/paper/5773-deep-generative-image-models-using-a-laplacian-pyramid-of-adversarial-networks.pdf

训练GANs的一些技巧(Improved Techniques for Training GANs)2016

原文链接:https://arxiv.org/pdf/1606.03498v1.pdf

条件生成对抗网络(Conditional Generative Adversarial Nets)2014

原文链接:https://arxiv.org/pdf/1411.1784v1.pdf

生成式矩匹配网络(Generative Moment Matching Networks)2015

原文链接:http://proceedings.mlr.press/v37/li15.pdf

超越均方误差的深度多尺度视频预测(Deep multi-scale video prediction beyond mean square error)2015

原文链接:https://arxiv.org/pdf/1511.05440.pdf

通过学习相似性度量的超像素自编码(Autoencoding beyond pixels using a learned similarity metric)2015

原文链接:https://arxiv.org/pdf/1512.09300.pdf

对抗自编码(Adversarial Autoencoders)2015

原文链接:https://arxiv.org/pdf/1511.05644.pdf

InfoGAN:基于信息最大化GANs的可解释表达学习(InfoGAN:Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets)2016

原文链接:https://arxiv.org/pdf/1606.03657v1.pdf

上下文像素编码:通过修复进行特征学习(Context Encoders: Feature Learning by Inpainting)2016

原文链接:http://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Pathak_Context_Encoders_Feature_CVPR_2016_paper.pdf

生成对抗网络实现文本合成图像(Generative Adversarial Text to Image Synthesis)2016

原文链接:http://proceedings.mlr.press/v48/reed16.pdf

基于像素卷积神经网络的条件生成图片(Conditional Image Generation with PixelCNN Decoders)2015

原文链接:https://arxiv.org/pdf/1606.05328.pdf

对抗特征学习(Adversarial Feature Learning)2016

原文链接:https://arxiv.org/pdf/1605.09782.pdf

结合逆自回归流的变分推理(Improving Variational Inference with Inverse Autoregressive Flow )2016

原文链接:https://papers.nips.cc/paper/6581-improving-variational-autoencoders-with-inverse-autoregressive-flow.pdf

深度学习系统对抗样本黑盒攻击(Practical Black-Box Attacks against Deep Learning Systems using Adversarial Examples)2016

原文链接:https://arxiv.org/pdf/1602.02697.pdf

参加,推断,重复:基于生成模型的快速场景理解(Attend, infer, repeat: Fast scene understanding with generative models)2016

原文链接:https://arxiv.org/pdf/1603.08575.pdf

f-GAN: 使用变分散度最小化训练生成神经采样器(f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization )2016

原文链接:http://papers.nips.cc/paper/6066-tagger-deep-unsupervised-perceptual-grouping.pdf

在自然图像流形上的生成视觉操作(Generative Visual Manipulation on the Natural Image Manifold)2016

原文链接:https://arxiv.org/pdf/1609.03552.pdf

通过平均差异最大优化训练生成神经网络(Training generative neural networks via Maximum Mean Discrepancy optimization)2015

原文链接:https://arxiv.org/pdf/1505.03906.pdf

对抗性推断学习(Adversarially Learned Inference)2016

原文链接:https://arxiv.org/pdf/1606.00704.pdf

基于循环对抗网络的图像生成(Generating images with recurrent adversarial networks)2016

原文链接:https://arxiv.org/pdf/1602.05110.pdf

生成对抗模仿学习(Generative Adversarial Imitation Learning)2016

原文链接:http://papers.nips.cc/paper/6391-generative-adversarial-imitation-learning.pdf

基于3D生成对抗模型学习物体形状的概率隐空间(Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial Modeling)2016

原文链接:https://arxiv.org/pdf/1610.07584.pdf

学习画画(Learning What and Where to Draw)2016

原文链接:https://arxiv.org/pdf/1610.02454v1.pdf

基于辅助分类器GANs的条件图像合成(Conditional Image Synthesis with Auxiliary Classifier GANs)2016

原文链接:https://arxiv.org/pdf/1610.09585.pdf

隐生成模型的学习(Learning in Implicit Generative Models)2016

原文:https://arxiv.org/pdf/1610.03483.pdf

VIME: 变分信息最大化探索(VIME: Variational Information Maximizing Exploration)2016

原文链接:http://papers.nips.cc/paper/6591-vime-variational-information-maximizing-exploration.pdf

生成对抗网络的展开(Unrolled Generative Adversarial Networks)2016

原文链接:https://arxiv.org/pdf/1611.02163.pdf

训练生成对抗网络的基本方法(Towards Principled Methods for Training Generative Adversarial Networks)2017

原文链接:https://arxiv.org/pdf/1701.04862.pdf

基于内省对抗网络的神经图像编辑(Neural Photo Editing with Introspective Adversarial Networks)2016

原文链接:https://arxiv.org/pdf/1609.07093.pdf

基于解码器的生成模型的定量分析(On the Quantitative Analysis of Decoder-Based Generative Models )2016

原文链接:https://arxiv.org/pdf/1611.04273.pdf

结合生成对抗网络和Actor-Critic 方法(Connecting Generative Adversarial Networks and Actor-Critic Methods)2016

原文链接:https://arxiv.org/pdf/1610.01945.pdf

通过对抗网络使用模拟和非监督图像训练( Learning from Simulated and Unsupervised Images through Adversarial Training)2016

原文链接:https://arxiv.org/pdf/1612.07828.pdf

基于上下文RNN-GANs的抽象推理图的生成(Contextual RNN-GANs for Abstract Reasoning Diagram Generation)2016

原文链接:https://arxiv.org/pdf/1609.09444.pdf

生成多对抗网络(Generative Multi-Adversarial Networks)2016

原文链接:https://arxiv.org/pdf/1611.01673.pdf

生成对抗网络组合(Ensembles of Generative Adversarial Network)2016

原文链接:https://arxiv.org/pdf/1612.00991.pdf

改进生成器目标的GANs(Improved generator objectives for GANs) 2016

原文链接:https://arxiv.org/pdf/1612.02780.pdf

生成对抗模型的隐向量精准修复(Precise Recovery of Latent Vectors from Generative Adversarial Networks)2017

原文链接:https://openreview.NET/pdf?id=HJC88BzFl

生成混合模型(Generative Mixture of Networks)2017

原文链接:https://arxiv.org/pdf/1702.03307.pdf

记忆生成时空模型(Generative Temporal Models with Memory)2017

原文链接:https://arxiv.org/pdf/1702.04649.pdf

停止GAN暴力:生成性非对抗模型(Stopping GAN Violence: Generative Unadversarial Networks)2017

原文链接:https://arxiv.org/pdf/1703.02528.pdf

展开阅读全文

没有更多推荐了,返回首页