lda模型学习

一.掌握基本的构建流程

二.部分概念的含义

1.词袋模型：首先将训练样本中所有不重复的词放到这个袋子中构成一个词表（字典）；然后再以这个词表为标准来遍历每一个样本，如果词表中对应位置的词出现在了样本中，那么对应位置就用1来表示，没有出现就用0来表示；最后，对于每个样本来说都将其向量化成了一个和词表长度一样的0-1向量。使用词袋将文字转化为数字，用于在之后对lda模型的训练。
2.TF-IDF:IDF指的是逆文档频率，词比较少见，但是在某一个文档中出现的次数却很多，那么这个词就很有可能是这篇文章的主题，例如中国很常用，但是建模这个词很少见。该词越稀有，其逆文档频率就越高。