【论文笔记7】Discovering Discrete Latent Topics with Neural Variational Inference (NVDM-GSM / NVDM)

Discovering Discrete Latent Topics with Neural Variational Inference

使用神经变分推理发现潜在的主题

提出了著名的NVDM-GSM/GSB/RSB模型

论文简介

题目：Discovering Discrete Latent Topics with Neural Variational Inference

作者：Yishu Miao 1 Edward Grefenstette 2 Phil Blunsom 1 2

作者单位：Oxford、DeepMind

发表会议：ICML

发表年限：2017

论文地址：https://arxiv.org/pdf/1706.00359.pdf

代码：https://github.com/zll17/Neural_Topic_Models

背景 Modivation

背景：传统纯算法模型在复杂语义文本的推理问题存在瓶颈。

解决问题：解决了主题模型在算法形式上的局限性，开创性地提出了NVDM-GSM模型，将深度模型与主题模型结合起来。

采用方法：

传统方法

LDA、PLSA 、Monte Carlo、 Variational等传统方法

传统基于算法的主题模型，可以对简单文本中的主题进行提取。

限制：在主题更加复杂的语料中表现不佳

先前神经主题模型（NVDM、信念文档模型等）

结合了神经网络模型与主题模型，可解释并可以明确表示随机变量之间的依赖性。

限制：没有对潜在主题进行明确的建模。同时NVDM的解码器采用的是softmax解码器，最终的$\theta$与$\beta$都没有被归一化，因此打破了主题模型的假设，没有针对单词的实际主题分布

Idea

整体架构如下（摘自知乎）

整体架构是标准的VAE结构，输入和输出都是词袋模型的语料，并通过编码解码过程进行重构。最终在隐空间的高斯分布中采样得到高斯变量z，并采取不同方式归一化$\theta$，这里介绍了三种方法，分别是GSM（Gaussian Softmax Distribution）、GSB（Gaussian Stick Breaking DIstribution）和RSB（Recurrent Stick Breaking process）

Pipe Line

VAE Topic Model

流程如图所示：

基于对文档的重构，最小化重构误差