对抗网络
文章平均质量分 79
本专栏介绍对抗网络GAN最基础的数学原理和以对抗网络为基础最新的非监督学习模型
人工智能插班生
双一流大学人工智能方向博士,Google GDE。已经发表SCI论文多篇,CSDN专栏文章、知乎文章近百篇(机器学习专栏、深度学习专栏、强化学习专栏、自然语言处理NLP专栏)
展开
-
机器学习与深度学习系列连载: 第四部分 对抗网络GAN (九) 对抗网络 (RankGAN + GAN家族总结)
对抗网络 (RankGAN + GAN总结)1.RankGAN这个模型不一样的地方在于,将原来的Discriminator从二分类模型变为一个排序模型,也就是一个Leaning to Rank的问题.所以模型的两个神经网络为:一个generator和一个ranker.其中G为生成的样本,H为抽样的真实的样本,U为抽样的真实的样本.(没错,这里是两个都是真实样本)基本思想就是分别计算G和U...原创 2018-12-28 11:24:22 · 1790 阅读 · 0 评论 -
机器学习与深度学习系列连载: 第四部分 对抗网络GAN (八) 对抗网络 (Unsupervised Conditional Sequence Generation)
对抗网络 (Unsupervised Conditional Sequence Generation)现实世界中,非监督数据占据绝大多数,GAN可以利用非监督数据进行结构化数据生成。1. 文本转换 Text Transfer我们经常使用GAN做图片生成,其实除了图片这样的结构化数据外,文本转换也是GAN可以做到的。我们可以使用Cycle GAN的技术进行文本的“情绪”转换由于文本是...原创 2018-12-28 10:54:22 · 595 阅读 · 0 评论 -
第四部分 对抗网络GAN (七) 对抗网络应用:NLP对话生成
对抗网络应用:NLP对话生成在自然语言处理NLP中,对抗网络也有它的应用空间。我们从NLP最经典的应用:Dialog Generation 对话生成开始。传统的对话生成使用的是Maxlikelyhood的思路,就是使对话生成的每一个词的概率的乘积最大。 但是效果不是很好(词库量、训练量都太大)我们先看看用Reinforcement learning的方法1.Reinforcement l...原创 2018-12-27 09:51:22 · 2403 阅读 · 0 评论 -
机器学习与深度学习系列连载: 第四部分 对抗网络GAN (六) 对抗网络 (EBGAN,Info GAN,Bi GAN,VAE-GAN, Seq2Seq GAN)
对抗网络 EBGAN1. Energy-based GAN(EBGAN)EBGAN 其实就是 鉴别器Discriminator,提前用AutoEncoder训练过的GANEBGAN的优势:GAN的训练比较麻烦,而AutoEncoder相对简单,EBGAN可以减少训练时间EBGAN的 discriminator 只会给有限的空间的值大的估计...原创 2018-12-25 09:29:06 · 1176 阅读 · 0 评论 -
机器学习与深度学习系列连载: 第四部分 对抗网络GAN (五) 对抗网络 Wasserstein GAN
对抗网络 Wasserstein GAN1. 传统Traditional GAN的问题1. JS 距离衡量存在问题在大多数例子中PGP_GPG和PdataP_{data}Pdata 中间是不重叠的生成器的目的就是要让PGP_GPG接近PdataP_{data}Pdata,那么GAN中的JS divergence 无法有一个过渡的过程,在 PGP_GPG接近PdataP_{da...原创 2018-12-23 21:18:44 · 921 阅读 · 0 评论 -
机器学习与深度学习系列连载: 第四部分 对抗网络GAN (四) 对抗网络 Cycle GAN
对抗网络GAN (四) 对抗网络 Cycle GAN我们目前看到的GAN都是有正确结果做参照的GAN(Supervised),但是如果没有正确结果做参照(Unsupuervised)的。最典型的例子就是风格迁移了(和Style Transfer算法不通,我们这里考虑用GAN),我们要把普通的照片迁移成梵高的画作,以前是没有这样的例子的,无从参考。我们还可以把进行声音转换:男人的声音转换成女...原创 2018-12-20 07:03:30 · 535 阅读 · 0 评论 -
机器学习与深度学习系列连载: 第四部分 对抗网络GAN (三) 对抗网络 Conditional GAN (CGAN)
对抗网络 Conditional GAN (CGAN)首先,我们先举一个例子,文本转换成图片:Text to Image.有过机器学习经验的同学肯定会想到,用监督学习就可以做到:不断地用监督的数据进行训练。但是,真实世界中,非监督数据远远大于带标记的监督数据。 那我们考虑,如何利用GAN,来生成图片呢。Scott Reed, et al 在2016年ICML 提出Conditional...原创 2018-12-19 09:25:25 · 1016 阅读 · 0 评论 -
机器学习与深度学习系列连载: 第四部分 对抗网络GAN(二) 对抗网络 GAN背后的理论
对抗网络 GAN背后的理论对抗网络GAN是由生成器Generator最终生成图片、文本等结构化数据。生成器能生成结构化数据的原理是什么呢?简而言之:就是让生成器Generator找到目标图片、文本的信息的概率密度函数。通过概率密度函数Pdata(x)P_{data}(x)Pdata(x),生成数据。1. 最大似然估计近似任何复杂的问题都可以拆解为简单的问题。 在机器学习中最大似然估计...原创 2018-12-14 06:48:36 · 802 阅读 · 0 评论 -
机器学习与深度学习系列连载: 第四部分 对抗网络GAN(一) 对抗网络介绍 GAN Introduction
对抗网络介绍 GAN Introduction1. 背景介绍对抗网络GAN的全称,Generative Adversarial Network (GAN) [1]是由机器学习大神,深度学习(花书)的作者lan J. Goodfellow在2014年提出。机器学习泰斗,CNN之父,在他的twitter中如此评价GAN:这是十年中,机器学习领域最伟大的算法之一。堪比于他自己在1990年提出...原创 2018-12-12 10:42:00 · 959 阅读 · 0 评论