NLP知识笔记

标签/关键词提取：

业界常用抽取文本关键词的无监督学习方法主要是TF-IDF，TextRank，左右信息熵。

TextRank算法主要是基于某一窗口内的词共现关系，构造无向图关系，通过Ranking方法计算词的权重，被其他词关联Ranking权重越高的词就是越关键的核心词。算法详述见参考文献[4]， 在Fundan NLP， jieba分词等工具中有该算法的实现。 

左右信息熵算法主要是计算文档中每个词左右出现的词的变化频率，即计算每个词的左右信息熵，左右信息熵越高，说明该词在文档中越重要。在张华平博士的分词工具ICTCLAS（即NLPIR）中有该算法的实现

TextRank，左右信息熵，以上两种方法，在某些场景下有效，但是在短文本分析等场景中，对比TFIDF并没有明显的优势。而TFIDF适用的场景更广，更容易做优化，计算效率更高，在业界的使用更加广泛。 

其他还有聚类，Topic Model等方法抽取关键词，实际应用中比较少。