深度生成模型笔记
文章平均质量分 72
catbird233
这个作者很懒,什么都没留下…
展开
-
主成分分析(PCA)原理详解
个人分类: 机器学习与Python 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zhongkelee/article/details/44064401转载请声明出处:http://blog.csdn.net/zhongkelee/article/details/44064401一、PCA简介1. 相关背景 上完陈恩...转载 2018-10-08 10:17:06 · 48979 阅读 · 9 评论 -
Piecewise Latent Variables for Neural Variational Text Processing论文阅读
Abstract神经变分推理的进步促进了具有连续潜在变量 (如变分自动器) 的强大定向图形模型的学习。希望这样的模型能学会在现实世界的数据中代表丰富的多模式潜在因素, 比如自然语言文本。然而, 目前的模型往往假设简单的原点的潜在变量--如单模高斯分布--无法有效地表示复杂的潜在因素。为了克服这一限制, 我们提出了简单但高度灵活的分段恒定分布。这种分布有能力表示指数级别的潜在目标分布的模式, 同...原创 2018-12-03 23:48:53 · 199 阅读 · 0 评论 -
[NLP自然语言处理]谷歌BERT模型深度解析【转】
转自:https://blog.csdn.net/qq_39521554/article/details/83062188BERT模型代码已经发布,可以在我的github: NLP-BERT--Python3.6-pytorch 中下载,请记得start哦目录一、前言二、如何理解BERT模型三、BERT模型解析 论文的核心:详解BERT模型架构 关键...转载 2019-02-17 21:19:51 · 515 阅读 · 0 评论 -
SentiGAN: Generating Sentimental Texts via Mixture Adversarial Networks论文笔记
另一篇很好的解释:https://www.itcodemonkey.com/article/6378.html摘要在自然语言生成领域, 不同情感标签的生成越来越受到人们的关注。近年来, 生成性对抗网 (gan) 在文本生成方面取得了良好的效果。然而, gan 产生的文本通常存在质量差、缺乏多样性和模式崩溃的问题。本文提出了一个新的框架--sentyan, 它有多个生成器和一个多类判别器, ...原创 2019-02-18 20:05:23 · 1593 阅读 · 0 评论 -
半监督vae用于情感分类的论文汇总阅读:Variational Autoencoder
1.AAAI-2017-Variational Autoencoder for Semi-Supervised Text Classification摘要:虽然半监督变分自动编码器 (SemiVAE) 在图像分类任务中工作, 但如果使用vanilla LSTM作为解码器, 则在文本分类任务中失败。从强化学习的角度出发, 验证了解码器区分不同分类标签的能力是必不可少的。因此, 提出了半......原创 2019-03-28 23:47:28 · 4787 阅读 · 1 评论 -
VAE--变分自编码器的通俗易懂的解释
转自:https://spaces.ac.cn/archives/5253过去虽然没有细看,但印象里一直觉得变分自编码器(Variational Auto-Encoder,VAE)是个好东西。于是趁着最近看概率图模型的三分钟热度,我决定也争取把VAE搞懂。于是乎照样翻了网上很多资料,无一例外发现都很含糊,主要的感觉是公式写了一大通,还是迷迷糊糊的,最后好不容易觉得看懂了,再去看看实现的代码,又...转载 2018-10-18 22:52:18 · 3631 阅读 · 0 评论 -
条件变分自编码器CVAE
转自:https://zhuanlan.zhihu.com/p/25518643上一期探讨了变分自编码器模型(VAEs),本期继续生成模型的专题,我们来看一下条件概率版本的变分自编码器(CVAEs)。(对应的,另一类生成模型GANs也有条件概率版本,称为CGANs。)VAE回顾VAE的目标是最大化对数似然函数其中,由于KL散度非负,对数似然函数的变分下界即为...转载 2019-05-28 13:29:05 · 7233 阅读 · 0 评论 -
AAAI2018-Long Text Generation via Adversarial Training with Leaked Information论文笔记
这篇文章主要是名为 LeakGAN 的模型结构,同时处理 D 反馈信息量不足和反馈稀疏的两个问题。LeakGAN 就是一种让鉴别器 D 提供更多信息给生成器 G 的新方式,我自己的笔记:转自:http://www.sohu.com/a/195150459_114877自生成式对抗性网络 GANs 出现以来,它和它的变体已经无数次在图像生成任务中证明了自己的有效性,也不断地吸引着越...转载 2019-05-28 14:31:48 · 863 阅读 · 0 评论 -
模拟上帝之手的对抗博弈——GAN背后的数学原理
转自:https://www.cnblogs.com/jins-note/p/9550561.html模拟上帝之手的对抗博弈——GAN背后的数学原理简介深度学习的潜在优势就在于可以利用大规模具有层级结构的模型来表示相关数据所服从的概率密度。从深度学习的浪潮掀起至今,深度学习的最大成功在于判别式模型。判别式模型通常是将高维度的可感知的输入信号映射到类别标签。训练判别式模型得益于反向传播算...转载 2019-06-02 19:17:37 · 1257 阅读 · 0 评论 -
GAN原理及相关发展总结
转自:http://www.sohu.com/a/143961544_741733导语这次的内容主要是想梳理 GAN 从 NIPS 2014 被提出,到 2017年5月,都有哪些重要的从原理和方法上的重要研究。一共覆盖了25篇重要论文(论文列表见本文最下方)。引言:GAN的惊艳应用首先来看看 GAN 现在能做到哪些惊艳的事呢?GAN 可以被用来学习生成各种各样的字体...转载 2019-06-02 19:21:50 · 3000 阅读 · 0 评论 -
《Long Text Generation via Adversarial Training with Leaked Information》阅读笔记
转自:https://bigquant.com/community/t/topic/121098论文链接:Long Text Generation via Adversarial Training with Leaked Information 1代码链接:https://github.com/CR-Gjx/LeakGAN 2来源:AAAI2018解决问题:自动生成连贯的和语义上有...转载 2019-06-08 18:29:53 · 1841 阅读 · 1 评论 -
《hierarchically-structured variational autoencoders for long text generation》论文阅读
摘要:变异自动编码器 (VAEs) 作为文本生成端向体系结构最近备受关注。现有方法主要侧重于合成相对较短的句子(少于20个单词)。在本文中,我们提出了一个新的框架,分层结构变异自动编码器(hier-VAE),用于生成长而连贯的文本单元。为了提高模型的超前能力,将中间句表示引入生成网络,以指导字级预测。为了缓解与文本 VAE 相关的典型优化挑战,我们进一步在编码器和解码器网络之间采用了随机...原创 2019-06-21 11:22:22 · 427 阅读 · 0 评论 -
《Toward Unsupervised Text Content Manipulation》论文笔记
贡献:1.这篇文章主要是提出了一个新的任务:和文本迁移任务,复写任务不同,文本迁移是修改一个特定句子的文章风格属性不修改文章的内容,而我们的任务是修改特定句子的内容而不修改风格2.提出了这个任务相应的数据集3.提出了这个任务的无监督模型总结这篇文章不难,主要就是构建一个篮球比赛的数据集,构建一个结构化数据x,以及这个x对应的原始语句y-aux;以及找到一个和x相似但不同的参...原创 2019-06-12 00:35:47 · 434 阅读 · 0 评论 -
SeqGAN解读
SeqGAN的概念来自AAAI 2017的SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient一文。Motivation如题所示,这篇文章的核心思想是将GAN与强化学习的Policy Gradient算法结合到一起——这也正是D2IA-GAN在处理Generator的优化时使用的技巧。而该论文的出发点也是意识到...转载 2019-06-23 16:01:21 · 2078 阅读 · 0 评论 -
SeqGAN模型原理和代码解析
1、背景GAN作为生成模型的一种新型训练方法,通过discriminative model来指导generative model的训练,并在真实数据中取得了很好的效果。尽管如此,当目标是一个待生成的非连续性序列时,该方法就会表现出其局限性。非连续性序列生成,比如说文本生成,为什么单纯的使用GAN没有取得很好的效果呢?主要的屏障有两点:1)在GAN中,Generator是通过随机抽样作为开始,...转载 2019-06-23 16:53:35 · 11327 阅读 · 18 评论 -
Improved Variational Autoencoders for Text Modeling using Dilated Convolutions论文笔记
Introduction我们的贡献如下: 首先, 我们建议使用一个扩大的 cnn 作为一个新的解码器的 vae。然后, 我们对具有不同容量的多个扩展体系结构进行了经验评估, 发现上下文容量的降低会导致对潜在表示的更强大依赖。通过选择具有适当上下文容量的解码器, 我们发现我们的 vae 在两个数据集中的性能优于 lstm 语言模型。我们还探讨了使用扩张的 cnn vae 进行半监督分类的方法, ...原创 2018-11-27 17:29:39 · 479 阅读 · 0 评论 -
Gumbel-Softmax Trick和Gumbel分布
看这里:www.cnblogs.com/initial-h/p/9468974.html转载 2018-11-27 16:41:50 · 1366 阅读 · 0 评论 -
稀疏自编码器
转自:https://blog.csdn.net/u010278305/article/details/46881443本笔记主要记录学习《深度学习》的总结体会。如有理解不到位的地方,欢迎大家指出,我会努力改正。 在学习《深度学习》时,我主要是通过Andrew Ng教授在http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tut...转载 2018-10-08 14:42:31 · 12809 阅读 · 0 评论 -
Generative Adversarial Nets论文笔记
Abstract 我们提出了一个新的框架来估计生成模型通过一个对抗性的过程, 我们同时训练两个模型: 一个生成模型 G, 捕获数据分布, 和一个判别模型 D, 估计样本的概率来自训练数据还是 G。 Introduction Related work 与 GSNs 相比, 对抗网框架不需要马尔可夫链进行抽样。由于对抗网在生成过程中不需要反馈环路, 因此它们能够更好地利用分段线性单...原创 2018-10-24 23:31:01 · 296 阅读 · 0 评论 -
Auto-Encoding Variational Bayes论文笔记
本文地址:http://blog.csdn.net/qq_31456593/article/details/77743840深度学习博客目录:http://blog.csdn.net/qq_31456593/article/details/69340697introduce这篇论文将变分贝叶斯和神经网络结合起来,用神经网络学习变分推导的参数,以得到后验推理p(z|x)的似然,并获得了一...转载 2018-10-25 00:00:17 · 798 阅读 · 0 评论 -
A Hierarchical Latent Variable Encoder-Decoder Model for Generating Dialogues论文笔记
Abstract序列数据通常具有子序列之间具有复杂依赖关系的层次结构, 例如在对话中的话语之间找到的。为了在生成框架中对这些依赖关系进行建模, 我们提出了一种基于神经网络的生成体系结构, 该体系结构具有跨越可变时间步长数的随机潜在变量。将该模型应用于对话响应生成任务, 并与其他最近的神经网络架构进行了比较。我们通过人类评价研究来评价模型的性能。实验表明, 我们的模型改进了最近提出的模型, 潜在...原创 2018-11-13 00:54:56 · 1006 阅读 · 0 评论 -
《A Deep Generative Framework for Paraphrase Generation》论文笔记
另一篇更好的理解:https://ldzhangyx.github.io/2018/09/26/deep-para-generation/Abstract意译生成是 NLP 中的一个重要问题, 特别是在问答、信息检索、信息抽取、会话系统等几个方面。本文讨论了自动生成释义的问题。我们提出的方法是基于深度生成模型 (VAE) 与序列-序列模型 (LSTM) 的组合生成释义, 给定一个输...原创 2018-11-11 00:29:31 · 580 阅读 · 0 评论 -
A Hybrid Convolutional Variational Autoencoder for Text Generation论文阅读
为了改进 KL 迅速降到 0,提出 convolutional 和 recurrent 结合的 VAEAbstract本文探讨了体系结构选择对学习文本生成的变分自动编码器 (vae) 的影响。与以前引入的文本 vae 模型相比, 编码器和解码器都是 rnn 的 vae 模型, 我们提出了一种新的混合体系结构, 将完全前馈卷积和去卷积组件与重复语言模型融合在一起。我们的体系结构具有几个...原创 2018-11-14 11:12:43 · 1118 阅读 · 1 评论 -
Deconvolutional Networks理解
转自:www.cnblogs.com/tornadomeet/p/3444128.html深度网络结构是由多个单层网络叠加而成的,而常见的单层网络按照编码解码情况可以分为下面3类:既有encoder部分也有decoder部分:比如常见的RBM系列(由RBM可构成的DBM, DBN等),autoencoder系列(以及由其扩展的sparse autoencoder, denoise auto...转载 2018-11-14 11:44:24 · 3878 阅读 · 0 评论 -
Semi-supervised Learning with Deep Generative Models论文笔记
Abstract现代数据集的规模不断扩大, 加上获取标签信息的难度, 使得半监督学习成为现代数据分析中具有重要现实意义的问题之一。我们重新审视使用生成模型进行半监督学习的方法, 并开发新的模型, 以便有效地将小标签数据集推广到大型无标签数据集。迄今为止, 生成办法要么是不灵活的, 要么是效率低下的, 要么是不可扩展的。我们表明, 深入生成模型和近似贝叶斯推理利用最近的进展, 变分方法可以用来提...原创 2018-11-20 17:01:34 · 3445 阅读 · 0 评论 -
VAE中关于损失函数的一部分推导trick,避免难以算出结果
选自《深度生成模型》一书vae的损失函数是最大化11.20式子原创 2018-11-21 23:16:17 · 5119 阅读 · 4 评论 -
Disentangled Variational Auto-Encoder for Semi-supervised Learning论文阅读
这篇论文主要讲了在求隐变量的过程中就提取了特征信息,然后用来一些约束效果比较好。公式10的推导:(感觉不太懂为什么。。。。不太对但推出来了)Abstract本文提出了一种新的无分类器半监督 vae 的方法。具体而言, 我们提出了一种名为 sdvae 的新模型, 该模型将输入数据编码为分离表示和不可解释表示, 然后直接利用类别信息通过方程约束。为了进一步提高拟议的 vae 的特征...原创 2018-11-22 00:37:17 · 1271 阅读 · 0 评论 -
VAE详细推导
转自:https://blog.csdn.net/ustbfym/article/details/78870990先上两个图解释下VAE在这两个的基础上,我们可以定义data likelihood:为什么要采用变分由于MCMC算法的复杂性,对于qϕ(z|x)qϕ(z|x),如果对每个数据点都要大量采样,在大数据情况下是难以实现的,因此需要找一个近似的方法。变分推理的思想就是寻找一...转载 2018-11-19 22:58:21 · 1549 阅读 · 0 评论 -
干货 | 你的 KL 散度 vanish 了吗?
转自:https://www.sohu.com/a/216987798_297288最近(其实是去年)和大家分享过 Variational Autoencoder (VAE) 在对话生成(文本生成)上的一些应用(点击查看)。由于生成模型的新颖性和效果都能让人眼前一亮,所以越来越多的学者都对其进行了探索与尝试。然而当 VAE 和强如RNN/PixelCNN 这样的autoregressive m...转载 2018-11-26 22:25:40 · 2719 阅读 · 0 评论 -
如何理解空洞卷积(dilated convolution)?
论文:Multi-scale context aggregation with dilated convolutions转自:https://www.zhihu.com/question/54149221作者:刘诗昆链接:https://www.zhihu.com/question/54149221/answer/323880412来源:知乎著作权归作者所有。商业转载请联系作者获得授...转载 2018-11-27 15:07:17 · 1580 阅读 · 0 评论 -
残差连接的解释(转)
本文首发于微信公众号《与有三学AI》【模型解读】resnet中的残差连接,你确定真的看懂了?06 这是深度学习模型解读第6篇,本篇我们将介绍深度学习模型中的残差连接。01 残差连接想必做深度学习的都知道skip connect,也就是残差连接,那什么是skip connect呢?如下图上面是来自于resnet【1】的skip block的示意图。我们可以使用一个非线...转载 2018-11-27 15:32:48 · 25667 阅读 · 0 评论 -
GAN大盘点,聊聊这些年的生成对抗网络 : LSGAN, WGAN, CGAN, infoGAN, EBGAN, BEGAN, VAE
转自:http://nooverfit.com/wp/%E7%8B%AC%E5%AE%B6%EF%BD%9Cgan%E5%A4%A7%E7%9B%98%E7%82%B9%EF%BC%8C%E8%81%8A%E8%81%8A%E8%BF%99%E4%BA%9B%E5%B9%B4%E7%9A%84%E7%94%9F%E6%88%90%E5%AF%B9%E6%8A%97%E7%BD%91%E7%BB%9...转载 2019-06-23 19:04:50 · 2030 阅读 · 0 评论