TF-IDF与TextRank的关键词提取算法应用

最新推荐文章于 2024-02-25 15:17:58 发布

weixin_30516243

最新推荐文章于 2024-02-25 15:17:58 发布

阅读量123

点赞数

原文链接：http://www.cnblogs.com/lewpeng/p/11155991.html

版权

TF-IDF（Term Frequency/Inverse Document Frequency）是信息检索领域非常重要的搜索词重要性度量；用以衡量一个关键词w对于查询（Query，可看作文档）所能提供的信息。词频（Term Frequency, TF）表示关键词w在文档Di中出现的频率：

\[TF_{w,D_i} = \frac{count(w)}{|D_i|}\]

其中，count(w)为关键词w的出现次数，|Di|为文档Di中所有词的数量。逆文档频率（Inverse Document Frequency, IDF）反映关键词的普遍程度——当一个词越普遍（即有大量文档包含这个词）时，其IDF值越低；反之，则IDF值越高。IDF定义如下：

\[IDF_w = log\frac{N}{\sum_{i=1}^{N}I(w,D_i)}\]

其中，N为所有的文档总数，I(w,Di)表示文档Di是否包含关键词，若包含则为1，若不包含则为0。若词w在所有文档中均未出现，则IDF公式中的分母为0；因此需要对IDF做平滑（smooth）：

\[IDF_w = log\frac{N}{1+\sum_{i=1}^{N}I(w,D_i)}\]

关键词w在文档Di的TF-IDF值：

\[TF - IDF_{w,D_i} = TF_{w,D_i} * IDF_w\]

从上述定义可以看出：

PageRank本来是用来解决网页排名的问题，网页之间的链接关系即为图的边，迭代计算公式如下:

\[PR(V_i) = (1 - d) + d * \sum_{j \in In(V_i)}\frac{1}{|Out(V_j)|}PR(V_j)\]

其中，PR(Vi)表示结点Vi的rank值，In(Vi)表示结点Vi的前驱结点集合，Out(Vj)表示结点Vj的后继结点集合，d为阻尼系数用于做平滑。

TextRank的迭代计算公式如下：

\[WS(V_i) = (1 - d) + d * \sum_{j\in In(V_i)}\frac{w_{ji}}{\sum_{V_k \in Out(V_j) w_{jk}}}WS(V_j)\]

可以看出，该公式仅仅比PageRank多了一个权重项Wji，用来表示两个节点之间的边连接有不同的重要程度。

将文本中的每个句子分别看做一个节点，如果两个句子有相似性，那么认为这两个句子对应的节点之间存在一条无向有权边。考察句子相似度的方法是下面这个公式：

\[Similarity(S_i,S_j) = \frac{| \{ w_k | w_k \in S_i \bigcup w_k \in S_j \} |}{log(|S_i|) + log(|S_j|)}\]

公式中，Si,Sj分别表示两个句子词的个数总数，Wk表示句子中的词，那么分子部分的意思是同时出现在两个句子中的同一个词的个数，分母是对句子中词的个数求对数之和。分母这样设计可以遏制较长的句子在相似度计算上的优势。

我们可以根据以上相似度公式循环计算任意两个节点之间的相似度，根据阈值去掉两个节点之间相似度较低的边连接，构建出节点连接图，然后计算TextRank值，最后对所有TextRank值排序，选出TextRank值最高的几个节点对应的句子作为摘要。

转载于:https://www.cnblogs.com/lewpeng/p/11155991.html

关注