信息抽取--关键词提取

（纯属为了记录自己学习的点滴过程，引用资料都附在参考列表）

1 基本概念

什么是关键词（是什么）
大略的讲就是文章中重要的单词，而不限于词语的新鲜程度。
什么样的单词是重要的单词，恐怕这是个见仁见智的问题，所以可以根据用户需求，合理设计先验知识融进模型进行建模，本文讨论的是最易于理解、最常见的几种度量“重要”的方式，也可以理解为几种常见理解“关键词”的观点。

2 问题

提取一篇文章的关键词；

3 解决思路

3.1 词频统计

先验知识：一方面，关键词通常在文章中反复出现，为了解释关键词，作者通常会反复提及它们；另一方面，反复出现的词语不一定是关键词，根据齐夫定律，一些词频高的往往是标点符号和助词’的‘等，它们显然不是关键词。
算法：根据先验知识，算法模型如下：

1. 分词；
2. 停用词过滤；
3. 按词频提取前n个；

缺点：用词频来提取关键词有一个缺陷，那就是高频词并不等价于关键词。比如在一个体育网站中，所有文章都是奥运会报道，导致“奥运会”词频最高，用户希望通过关键词看到每篇文章的特色。此时，TF-IDF 就派上用场了。

3.2 IF-IDF

先验知识：如果某个词在一篇文档中出现的频率高，并且在其它文档中很少出现，则认为这个词有很好的类别区分能力。

TF-IDF的数学表达：
$$TF-IDF(t,d)$$