TextRank算法的基本原理及textrank4zh使用实例

    TextRank算法是一种文本排序算法，由谷歌的网页重要性排序算法PageRank算法改进而来，它能够从一个给定的文本中提取出该文本的关键词、关键词组，并使用抽取式的自动文摘方法提取出该文本的关键句。其提出论文是： Mihalcea R, Tarau P. TextRank: Bringing order into texts[C]. Association for Computational Linguistics, 2004. 论文的百度学术下载地址为：点击打开链接。本文将首先介绍TextRank算法的基本原理，然后给出Python中TextRank算法的中文文本实现模块textrank4zh的使用实例。

1 TextRank算法的基本原理

    TextRank算法是由网页重要性排序算法PageRank算法迁移而来：PageRank算法根据万维网上页面之间的链接关系计算每个页面的重要性；TextRank算法将词视为“万维网上的节点”，根据词之间的共现关系计算每个词的重要性，并将PageRank中的有向边变为无向边。所以，在介绍TextRank算法之前，先介绍一下PageRank算法。

1.1 PageRank算法的基本概念和原理

    PageRank算法的起源要从搜索引擎的发展讲起。早期的搜索引擎普遍采用分类目录方法，即通过人工对网页进行分类，整理出高质量的网站。随着网页的增多，人工分类的方法变得不现实，人们开始尝试使用文本检索的方法，即通过计算用户查询的关键词与网页内容的相关程度来返回搜索结果。这种方法突破了网页数量的限制，但是这种方法的效果并不总是很好，因为某些网站会刻意“操作”某些关键词从而使自己的搜索排名靠前。这一问题在1998年4月的第七届国际万维网大会上得以解决——Larry Page和Sergey Brin提出了PageRank算法。该算法通过计算网页链接的数量和质量来粗略估计网页的重要性，算法创立之初即应用在谷歌的搜索引擎中，对网页进行排名。

    PageRank算法的核心思想如下：

• 如果一个网页被很多其他网页链接到，说明这个网页比较重要，即该网页的PR值（PageRank值）会相对较高；
• 如果一个PR值很高的网页链接到一个其他网页，那么被链接到的网页的PR值会相应地因此而提高。

    以投票机制的观点来看，一个网页的得票数由所有链向它的网页的得票数经过递归算法来得到，有到一个网页的超链接相当于对该网页投了一票。

    为了便于理解，考虑以下情境：

          

1）如上左图，假设一个只由4个网页组成的集合：A、B、C和D，如果网页B、C、D都链向网页A，且网页B、C、D均没有链出，那么网页A的PR值将是网页B、C、D的PR值之和:

2）如上右图，继续假设在上述情境下，网页B有链接链向网页C，网页D有链接链向网页A、B、C，一个网页不能多次投票，所以网页B投给它链向的网页1/2票，网页D投给它链向的网页1/3票，计算此情境下网页A的PR值为：

即，在一个网页为其他网页投票时，根据链出总数平分该网页的PR值，将其作为该网页为其链向网页所投票数，即：

3）再抽象一下，建立一个简化模型，对于任意的网页i，它的PR值可以表示如下：

：网页i的PR值

：网页j的PR值

：所有链接到网页i的网页集合

：网页j的对外链出数

    以上讲的是PageRank算法的简单模型，但是简单模型并不适用于只链出自己的网页或几个网页的链出形成一个循环的情况，所以考虑更具普遍性的PageRank算法模型——随机浏览模型。

    随机浏览模型的假设是这样的：假定一个网页浏览者从一个随机页面开始浏览，浏览者不断点击当前网页的链接开始下一次浏览。但是，浏览者会逐渐厌倦并开始随机浏览网页。随机浏览的方式更符合用户的真实浏览行为，避免了上述情况的发生，由此产生了随机浏览模型，随机浏览模型中每个网页的PR值通过以下公式计算：

：网页i的PR值

：网页j的PR值

：网页j的对外链出数

：所有链接到网页i的网页集合

：网络中网页的总数

：阻尼系数，即按照超链接进行浏览的概率，一般取经验值为0.85

：浏览者随机跳转到一个新网页的概率

    一个网页的PR值是由其他网页的PR值计算得到的。由于PR=A*PR（A为概率转移矩阵）满足马尔科夫链的性质，那么通过迭代可以得到所有网页的PR值。经过重复计算，这些网页的PR值会趋于正常和稳定。