关键词提取综述

关键词提取综述

本文资料来自于一篇2014年的论文Automatic Keyphrase Extraction：A Survey of the State of the Art

主要选取提取关键词算法的部分，不涉及评价以及数据集等。关键词提取一般有两个阶段，第一阶段是生成关键词候选集，第二阶段是采用监督学习或者非监督学习算法来选择关键词。

1. 生成关键词候选集

(1). 去除停用词
(2). 只提取指定词性的词，例如，名词、形容词、动词
(3). 提取出现在wikipedia 标题中的n-gram的词
(4). 按照事先定好的规则，提取n-gram或者名词短语

2.监督学习算法提取关键词

监督学习方法提取关键词有两种途径，一种叫任务重组，一种叫特征方法。

2.1 任务重组

任务重组就是讲提取关键词转化为二分分类问题，即，判断候选词是不是关键词。分类方法有朴素贝叶斯、决策树、SVM、最大熵、boosting等。

2.2 特征方法

2.2.1 内部特征

(1)统计特征，tfidf，通常作为关键词实验的baseline。

(2)统计词距，词距=第一次出现位置前面词的个数/文章总词数，基于假设关键词的位置是靠前的

(3)统计每个候选词作为关键词出现的次数，基于假设某个词经常作为关键词出现，那么它是关键词的概率就比较高

<