关键短语提取的典型方法

随着互联网文本相关数据呈指数级增长，如何快速有效地抽取和整理相关关键信息成为一个重要的研究课题。与关键词不同，关键短语可能由多个词组成，其文本语义描述更为丰富，表达更为完整。除此之外，关键短语构成了一个简洁的概念性文档摘要，有助于语义索引、文档聚类和分类等多个任务的效果提升。

其中抽取式短语提取中，无监督提取方法比较典型的有TF-IDF、YAKE、TextRank、SIFRank等，有监督提取方法比较典型的有CRF、BERT-KPE等。

（1）TF-IDF：TF-IDF是一种很简单但却很有效的方法，常用于信息检索和文本挖掘的常用加权技术。用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

（2）YAKE：YAKE是一种关键字提取方法，它利用单个文档的统计特征来提取关键字，主要通过五个方面来计算关键词的重要度：是否大写、词的位置、词频、上下文关系、词在多个剧中出现的频率，其优势在于它不依赖与外部语料库、文本文档的长度、语言或领域。与TF-IDF相比，它在单个文档的基础上提取关键字，并且不需要庞大的语料库。

（3）TextRank：TextRank算法是基于PageRank算法，PageRank算法其中图的节点是网页，而TextRank是词。最原始的PageRank算法是无权重的图，而TextRank是有权重的图