独家 | 基于TextRank算法的文本摘要（附Python代码）

作者：Prateek Joshi

翻译：王威力

校对：丁楠雅

本文约3300字，建议阅读10分钟。

本文介绍TextRank算法及其在多篇单领域文本数据中抽取句子组成摘要中的应用。

TextRank 算法是一种用于文本的基于图的排序算法，通过把文本分割成若干组成单元（句子），构建节点连接图，用句子之间的相似度作为边的权重，通过循环迭代计算句子的TextRank值，最后抽取排名高的句子组合成文本摘要。本文介绍了抽取型文本摘要算法TextRank，并使用Python实现TextRank算法在多篇单领域文本数据中抽取句子组成摘要的应用。

介绍

文本摘要是自然语言处理（NLP）的应用之一，一定会对我们的生活产生巨大影响。随着数字媒体的发展和出版业的不断增长，谁还会有时间完整地浏览整篇文章、文档、书籍来决定它们是否有用呢？值得高兴的是，这项技术已经在这里了。

 

你有没有用过inshorts这个手机app？它是一个创新的新闻app，可以将新闻文章转化成一篇60字的摘要，这正是我们将在本文中学习的内容——自动文本摘要。

 

自动文本摘要是自然语言处理（NLP）领域中最具挑战性和最有趣的问题之一。它是一个从多种文本资源（如书籍、新闻文章、博客帖子、研究类论文、电子邮件和微博）生成简洁而有意义的文本摘要的过程。

 

由于大量文本数据的可获得性，目前对自动文本摘要系统的需求激增。

 

通过本文，我们将探索文本摘要领域，将了解TextRank算法原理，并将在Python中实现该算法。上车，这将是一段有趣的旅程！

目录

一、文本摘要方法

二、TextRank算法介绍

三、问题背景介绍

四、TextRank算法实现

五、下一步是什么？

一、文本摘要方法

 

早在20世纪50年代，自动文本摘要已经吸引了人们的关注。在20世纪50年代后期，Hans Peter Luhn发表了一篇名为《The automatic creation of literature abstract》的研究论文，它利用词频和词组频率等特征从文本中提取重要句子，用于总结内容。

参考链接：

http://courses.ischool.berkeley.edu/i256/f06/papers/luhn58.pdf

 

另一个重要研究是由Harold P Edmundson在20世纪60年代后期完成，他使用线索词的出现（文本中出现的文章题目中的词语）和句子的位置等方法来提取重要句子用于文本摘要。此后，许多重要和令人兴奋的研究已经发表，以解决自动文本摘要的挑战。

参考链接：

http://courses.ischool.berkeley.edu/i256/f06/papers/luhn58.pdf

 

文本摘要可以大致分为两类——抽取型摘要和抽象型摘要：

• 抽取型摘要：这种方法依赖于从文本中提取几个部分，例如短语、句子，把它们堆叠起来创建摘要。因此，这种抽取型的方法最重要的是识别出适合总结文本的句子。

• 抽象型摘要：这种方法应用先进的NLP技术生成一篇全新的总结。可能总结中的文本甚至没有在原文中出现。