Hanlp关键词提取、分词、摘要提取

• hanlp分词

用viterbi计算.
【viterbi参考 隐马尔可夫模型HMM 、条件随机场CRF】

• hanlp关键词抽取：

用textRank。具体统计一个固定窗口内，每个词在窗口内的周边词及对应出现次数。则每个词的得分=（1-d）+d*sum(每个周边词得分/该周边词出现个数)。
其中：一般b=0.75

pagerank: 一个网页的重要程度取决于：
(1)链接到当前网页的数量（穷在闹事无近邻，富在深山有远亲）
(2)链接到当前网页的质量（如果一个网页很重要，那他链接的网页也重要--近朱者赤。）

• hanlp文档摘要：

每个分句与整句的BM25相似排序。

• BM25

对query分词，遍历query中每个分词，计算他们在每篇文档中的总权重，即BM25值。BM25值涉及tf-idf。