关键词提取技术：TextRank 详解

最新推荐文章于 2025-02-11 20:11:56 发布

goTsHgo

最新推荐文章于 2025-02-11 20:11:56 发布

阅读量1.9k

点赞数 19

分类专栏：自然语言处理文章标签：人工智能自然语言处理

本文链接：https://blog.csdn.net/goTsHgo/article/details/143007452

版权

自然语言处理专栏收录该内容

6 篇文章

订阅专栏

1. 什么是 TextRank？

TextRank 是一种基于图的排序算法，用于从文本中提取关键词和进行自动摘要。它是受 Google 的 PageRank 算法启发而提出的。与 TF-IDF 不同，TextRank 不依赖外部语料库，也不需要训练数据。它通过构建词语之间的关系图，使用迭代算法计算每个节点（词语或句子）的重要性，从而提取文本的关键信息。

TextRank 可以应用于两个主要任务：

关键词提取：通过分析词语之间的相邻关系，找出最重要的词语。
自动摘要：通过句子之间的相似度，生成文本的摘要。

TextRank 的核心思想是：通过图来表示文本的结构，并通过图的结构特性（比如节点的链接）来估算节点的重要性。

2. TextRank 的底层原理

2.1 PageRank 算法的启发

TextRank 的核心思想来源于 Google 的 PageRank 算法，后者用于排序网页的“重要性”。在 PageRank 中，网页被表示为图中的节点，网页之间的链接作为边。节点的重要性通过该节点连接到的重要节点数量及这些节点自身的权重来衡量。

类似地，在 TextRank 中，词语或句子 被表示为图的节点，词语之间的关系（如词语的共现或句子之间的相似性）作为图中的边。TextRank 通过迭代计算节点的重要性，找到最重要的词语或句子。

2.2 TextRank 的步骤

TextRank 的工作流程可分为以下几个步骤：

构建图模型：
- 对于 关键词提取：每个词语作为图中的节点，边根据词语在一定窗口范围内的共现关系进行连接。
- 对于 自动摘要：每个句子作为图中的节点，边根据句子之间的相似度（如词语重叠程度）进行连接。
计算节点的权重：
- 使用类似 PageRank 的算法，初始化每个节点的权重为 1，然后根据图的连接关系进行迭代更新。
- 更新公式如下：
  
  $W(v_{i})=(1-d)+d*\sum_{v_{j\in In(v_{i})}}^{} \frac{W(v_{j})}{|Out(v_{j})|}$
其中：
- $W(v_{i})$ 是节点 $v_{i}$ 的权重。
- d 是阻尼因子（通常设为 0.85），它控制节点随机跳转的概率。
- $In(v_{i})$ 是指向节点 $v_{i}$ 的其他节点集合。
- $Out(v_{j})$ 是节点 $v_{j}$ 指向的其他节点的数量。
排序并提取关键词或句子：
- 经过若干次迭代后，节点的权重收敛，权重越高的词语或句子越重要。
- 最终，按照权重排序，选取前 N 个节点作为关键词或摘要句。

3. 代码实现（Python）

下面，我们通过 Python 来实现 TextRank 的关键词提取和自动摘要。

3.1 关键词提取

import itertools
import numpy as np
import networkx as nx
from collections import Counter
from sklearn.feature_extraction.text import CountVectorizer

# 文本示例
text = "the cat is on the table. the dog is in the house. there is a cat and a dog."

# 1. 预处理文本
def preprocess_text(text):
    # 简单的分词和去停用词（这里只是示例，实际中需要更复杂的处理）
    return [word.lower() for word in text.split() if len(word) > 1]

# 2. 构建词语图
def build_word_graph(words, window_size=2):
    graph = nx.Graph()
    word_pairs = list(itertools.combinations(words, 2))  # 任意两个词之间的组合

    for word1, word2 in word_pairs:
        if graph.has_edge(word1, word2):
            graph[word1][word2]['weight'] += 1
        else:
            graph.add_edge(word1, word2, weight=1)
    return graph

# 3. 计算 TextRank
def textrank(graph, damping_factor=0.85, max_iter=100, tol=1.0e-6):
    return nx.pagerank(graph, alpha=damping_factor, max_iter=max_iter, tol=tol)

# 4. 提取关键词
def extract_keywords(text, top_n=5):
    words = preprocess_text(text)
    word_graph = build_word_graph(words)
    ranks = textrank(word_graph)
    sorted_ranks = sorted(ranks.items(), key=lambda item: item[1], reverse=True)
    return [word for word, rank in sorted_ranks[:top_n]]

# 运行关键词提取
keywords = extract_keywords(text)
print("Top Keywords:", keywords)

3.1.1 代码解释：

预处理文本：通过简单的分词和过滤掉长度小于 1 的单词来清洗文本。在实际应用中，还需要去掉停用词和做词干提取或词形还原。
构建词语图：在指定窗口内，将每个词看作图中的一个节点，相邻的词之间有边。边的权重由它们的共现次数决定。
计算 TextRank：使用 NetworkX 中的 pagerank 函数计算词语的重要性权重，TextRank 公式与 PageRank 类似，使用一个阻尼系数来控制词语之间的重要性传递。
提取关键词：根据词语的权重进行排序，选择权重最高的前 N 个词语作为关键词。

3.2 自动摘要

from sklearn.metrics.pairwise import cosine_similarity
from sklearn.feature_extraction.text import TfidfVectorizer

# 文本示例
sentences = [
    "the cat is on the table.",
    "the dog is in the house.",
    "there is a cat and a dog."
]

# 1. 计算句子相似度矩阵
def sentence_similarity_matrix(sentences):
    vectorizer = TfidfVectorizer()
    tfidf_matrix = vectorizer.fit_transform(sentences)
    sim_matrix = cosine_similarity(tfidf_matrix)
    return sim_matrix

# 2. 构建句子图
def build_sentence_graph(sentences):
    sim_matrix = sentence_similarity_matrix(sentences)
    graph = nx.from_numpy_array(sim_matrix)
    return graph

# 3. 提取摘要句
def extract_summary(sentences, top_n=2):
    sentence_graph = build_sentence_graph(sentences)
    ranks = textrank(sentence_graph)
    sorted_ranks = sorted(ranks.items(), key=lambda item: item[1], reverse=True)
    ranked_sentences = [sentences[i] for i, rank in sorted_ranks[:top_n]]
    return ranked_sentences

# 运行摘要提取
summary = extract_summary(sentences)
print("Summary:", summary)

3.2.1 代码解释：

计算句子相似度：通过 TfidfVectorizer 将每个句子表示为 TF-IDF 向量，然后计算句子之间的余弦相似度，生成句子相似度矩阵。
构建句子图：将每个句子作为图的节点，使用句子相似度矩阵的值作为边的权重。
计算 TextRank：使用 PageRank 算法计算句子的重要性。
提取摘要句：根据句子的重要性权重，选取权重最高的前 N 个句子作为摘要。

4. TextRank 的应用

4.1 关键词提取

自然语言处理任务：在文本分类、信息检索等任务中，使用 TextRank 自动提取文档中的关键词，帮助理解文档主题。

4.2 自动摘要

文档自动摘要：利用 TextRank 自动生成长文本的简洁摘要，帮助用户快速获取关键信息。

4.3 其他应用

情感分析：通过提取文本中最重要的关键词，辅助情感分类任务。
推荐系统：分析文本内容，通过提取高权重的关键词或者摘要句，理解用户兴趣和偏好。

5. TextRank 的优势与局限

5.1 优势

无需外部语料库：TextRank 不依赖训练数据，适用于无监督任务。
图模型：通过图模型可以很好地捕捉词语或句子之间的相对关系。
可扩展性强：不仅适用于关键词提取和自动摘要，还可以应用于其他基于图的 NLP 任务。

5.2 局限

对长文本不够有效：TextRank 更适合短文本或中等长度文本，对于非常长的文档，图的构建和计算可能会变得复杂。
不考虑词语的语义：TextRank 仅根据词语的共现关系来构建图，而不考虑词语之间的语义信息。

6. 总结

TextRank 是一种基于图的排序算法，能够有效地用于关键词提取和自动摘要。通过将词语或句子表示为图的节点，并通过迭代计算节点的重要性，TextRank 提取出文档中最重要的词语或句子。与 TF-IDF 不同，TextRank 不依赖外部语料库，且不需要训练数据，因此非常适合无监督的文本分析任务。