自然语言话题分析-从NMF矩阵分解模型说起

1、概述

我们在接触自然语言领域都会涉及到基于监督学习与非监督学习的文本分类，在非监督学习领域会提到lsa、lda主题模型的实现。但之前的讨论都是基于工具层面的。其实这些模型的基础算法都是NMF模型分解。可以我们不会对文本从底层去实现这样的算法。但了解其实现的机制还是非常有帮助的。

2、关于NMF矩阵

NMF的思想：V=WH（W权重矩阵、H特征矩阵、V原矩阵），通过计算从原矩阵提取权重和特征两个不同的矩阵出来。属于一个无监督学习的算法。当然如果从数学角度来解释这个事情，就会变得毫无意义，所以还是结合自然语言主题分析这个具体应用来解释这个问题。

在自然语言处理的任务当中，我们经常用词，词频来表示一个语料。当然为了使用数字来表示单词，我们会使用字典，从而利用字典中的词的索引来表示该词。那么同样如果我们有6篇文章，V矩阵就是对这6篇文章或者整体语料库一个表示，他包含三个信息，词，词频和文档。所以V矩阵被称为：term-document矩阵，矩阵的行数 i 代表了字典中包含单词的数量，矩阵的列数 j 代表了文档的数量，而i，j对应的值是一个词频，代表着第i个单词在第j个文档中出现的次数。

W矩阵代表单词与topic（话题）的密切程度，在上图中W是一个2*4的矩阵，行数代表第 i 个单词, 列数代表第 j 个主题，对应的值代表第 i 个单词与 第 j 个主题的密切程度。所有W矩阵被成为