LDA（Latent Dirichlet Allocation）简介

一、简介

    LDA（隐狄利克雷分布）是一种无监督学习的主题概率生成模型，输入是文档集合和主题个数，输出是以概率分布的形式呈现的主题，常用于主题建模、文本分类、观点挖掘等多个领域。

    它假定了一个前提：文档相当于一个词袋（bag-of-words），袋子中的词是独立可交换的，没有语法结构和顺序。

    其基本思想是：每个文档（Document）由多个主题（Topic）构成，每个主题都有对应的多个词（Word）来描述。

二、LDA模型介绍

1. 模型描述

    LDA的核心是贝叶斯网络（左图是贝叶斯网络，右边是参数说明）：

                     

                   图一   LDA的贝叶斯网络                                 图二  参数说明

    

    在贝叶斯网络中，左边的矩形表示每个主题对应的单词概率分布；右边的外矩形表示有M个文档，内矩形表示每个文档中的所有单词。

    贝叶斯网络模拟文档的生成过程，为了方便理解，结合伪代码来解释生成过程（先看伪代码的注释；其中各种概率分布先忽略，后面再解释）：