TF-IDF与余弦相似性的应用（三）：自动摘要

TF-IDF与余弦相似性的应用（三）：自动摘要

---

有时候，很简单的数学方法，就可以完成很复杂的任务。

仅仅依靠统计词频，就能找出关键词和相似文章，这两部分就是很好的例子。虽然它们算不上效果最好的方法，但肯定是最简便易行的方法。

本文讨论如何通过词频，对文章进行自动摘要（Automatic summarization）。

1.分簇

如果能从3000字的文章，提炼出150字的摘要，就可以为读者节省大量阅读时间。由人完成的摘要叫"人工摘要"，由机器完成的就叫"自动摘要"。许多网站都需要它，比如论文网站、新闻网站、搜索引擎等等。2007年，美国学者的论文《A Survey on Automatic Text Summarization》（Dipanjan Das, Andre F.T. Martins, 2007）总结了目前的自动摘要算法。其中，很重要的一种就是词频统计。

这种方法最早出自1958年的IBM公司科学家H.P. Luhn的论文《The Automatic Creation of Literature Abstracts》。Luhn博士认为，文章的信息都包含在句子中，有些句子包含的信息多，有些句子包含的信息少。“自动摘要"就是要找出那些包含信息最多的句子。句子的信息量用"关键词"来衡量。如果包含的关键词越多，就说明这个句子越重要。Luhn提出用"簇”（cluster）表示关键词的聚集。所谓"簇"就是包含多个关键词的句子片段。

上图就是Luhn原始论文的插图，被框起来的部分就是一个"簇"。只要关键词之间的距离小于"门槛值"，它们就被认为处于同一个簇之中。Luhn建议的门槛值是4或5。也就是说，如果两个关键词之间有5个以上的其他词，就可以把这两个关键词分在两个簇。

2.计算簇的重要性分值

对于每个簇，都计算它的重要性分值。
簇 的 重 要 性 = （ 包 含 的 关