主题模型在信息提取中体会

最近在探索热点数据摘要生成，应用除seq2seq其他的方法，把一些经验记录一下。总体来说提起的信息不全，流畅度也不好，但可以实现语义表示和语义匹配信息，极力推荐百度开源的Familia。也有其他的开源工具例如lightLDA，笔者没有尝试。文档的主题分布可以用来做优质新闻及劣质新闻的分类，根据主题分布来确认文章的熵值，进一步确定文章的丰富程度。有了文档的稀疏表示可以实现文本的聚类。根据simhash可以实现主题的hash表示，用于冗杂主题去重。
每一个主题下面的词进行hash话，1001,1对应着+，0对应这-，乘以各个词在主题下面的权重，累加和就是主题的hash表述。文档的主体向量表示，通过主题降维乘以主题向量矩阵就是最终的向量表述。