KeyBert、TextRank等九种本文关键词提取算法（KPE）原理及代码实现

关键词提取 (Keyphrase Extraction，KPE) 任务可以自动提取文档中能够概括核心内容的短语，有利于下游信息检索和 NLP 任务。当前，由于对文档进行标注需要耗费大量资源且缺乏大规模的关键词提取数据集，无监督的关键词提取在实际应用中更为广泛。无监督关键词抽取的state of the art（SOTA）方法是对候选词和文档标识之间的相似度进行排序来选择关键词。但由于候选词和文档序列长度之间的差异导致了关键短语候选和文档的表征不匹配，导致以往的方法在长文档上的性能不佳，无法充分利用预训练模型的上下文信息对短语构建表征。下面主要介绍一些主流的KPE算法。

目录

数据集

一、基于词袋加权的TFIDF算法

1.1 代码实现

1.2 优缺点

二、考虑词关联网络的TextRank算法 

2.1  代码实现

2.2  优缺点

三、结合主题的LDA算法 

3.1 代码实现

3.2 优缺点

四、结合语义编码的KeyBert算法 

4.1 代码实现

4.2 优缺点

五、Yake 

5.1 算法思想 

5.2 代码实现

六、Rake

6.1 算法思想 

6.2 代码实现

七、Summa 

八、Autophrasex

8.1 算法思想

8.2 代码实现 

九、 MDERank

9.1 算法思想 

9.2  实验结果

十、小结

十一、关键词提取的评价指标 

十二、下一步计划

---