Discovering Discrete Latent Topics with Neural Variational Inference
使用神经变分推理发现潜在的主题
提出了著名的NVDM-GSM/GSB/RSB模型
论文简介
题目:Discovering Discrete Latent Topics with Neural Variational Inference
作者:Yishu Miao 1 Edward Grefenstette 2 Phil Blunsom 1 2
作者单位:Oxford、DeepMind
发表会议:ICML
发表年限:2017
论文地址:https://arxiv.org/pdf/1706.00359.pdf
代码:https://github.com/zll17/Neural_Topic_Models
背景 Modivation
背景:传统纯算法模型在复杂语义文本的推理问题存在瓶颈。
解决问题:解决了主题模型在算法形式上的局限性,开创性地提出了NVDM-GSM模型,将深度模型与主题模型结合起来。
采用方法:
传统方法
LDA、PLSA 、Monte Carlo、 Variational等传统方法
传统基于算法的主题模型,可以对简单文本中的主题进行提取。
限制:在主题更加复杂的语料中表现不佳
先前神经主题模型(NVDM、信念文档模型等)
结合了神经网络模型与主题模型,可解释并可以明确表示随机变量之间的依赖性。
限制:没有对潜在主题进行明确的建模。同时NVDM的解码器采用的是softmax解码器,最终的 θ \theta θ与 β β β都没有被归一化,因此打破了主题模型的假设,没有针对单词的实际主题分布
Idea
整体架构如下(摘自知乎)
整体架构是标准的VAE结构,输入和输出都是词袋模型的语料,并通过编码解码过程进行重构。最终在隐空间的高斯分布中采样得到高斯变量z,并采取不同方式归一化 θ \theta θ,这里介绍了三种方法,分别是GSM(Gaussian Softmax Distribution)、GSB(Gaussian Stick Breaking DIstribution)和RSB(Recurrent Stick Breaking process)
Pipe Line
VAE Topic Model
流程如图所示:
基于对文档的重构,最小化重构误差