关键词提取综述
本文资料来自于一篇2014年的论文Automatic Keyphrase Extraction:A Survey of the State of the Art
主要选取提取关键词算法的部分,不涉及评价以及数据集等。关键词提取一般有两个阶段,第一阶段是生成关键词候选集,第二阶段是采用监督学习或者非监督学习算法来选择关键词。
1. 生成关键词候选集
(1). 去除停用词
(2). 只提取指定词性的词,例如,名词、形容词、动词
(3). 提取出现在wikipedia 标题中的n-gram的词
(4). 按照事先定好的规则,提取n-gram或者名词短语
2.监督学习算法提取关键词
监督学习方法提取关键词有两种途径,一种叫任务重组,一种叫特征方法。
2.1 任务重组
任务重组就是讲提取关键词转化为二分分类问题,即,判断候选词是不是关键词。分类方法有朴素贝叶斯、决策树、SVM、最大熵、boosting等。
2.2 特征方法
2.2.1 内部特征
(1)统计特征,tfidf,通常作为关键词实验的baseline。
(2)统计词距,词距=第一次出现位置前面词的个数/文章总词数,基于假设关键词的位置是靠前的
(3)统计每个候选词作为关键词出现的次数,基于假设某个词经常作为关键词出现,那么它是关键词的概率就比较高
<