非主流自然语言处理——遗忘算法系列（四）：关键词提取

一、前言

　　前文介绍了利用词库进行分词，本文介绍词库的另一个应用：词权重计算。

二、词权重公式

　　1、公式的定义

　　　　定义如下公式，用以计算词的权重：

　　　　

　　2、公式的由来

　　　　在前文中，使用如下公式作为分词的依据：

　　　　

　　　　任给一个句子或文章，通过对最佳分词方案所对应的公式进行变换，可以得到：

　　　　 

　　　　按前面权重公式的定义，上面的公式可以理解为：一个句子出现的概率对数等于句子中各词的权重之和。

　　　　权重公式前的负号是想使权重是个正值。