结巴分词关键词相似度_文本相似度分析（基于jieba和gensim）

基础概念

本文在进行文本相似度分析过程分为以下几个部分进行，文本分词

语料库制作

算法训练

结果预测

分析过程主要用两个包来实现jieba，gensim

jieba:主要实现分词过程

gensim：进行语料库制作和算法训练

结巴(jieba)分词

在自然语言处理领域中，分词和提取关键词都是对文本处理时通常要进行的步骤。用Python语言对英文文本进行预处理时可选择NLTK库，中文文本预处理可选择jieba库。结巴分词是基于统计的分词方法，它对给出大量已经分词的文本，利用统计机器学习模型学习词语切分的规律(称为训练)，从而实现对未知文本的切分。例如最大概率分词方法和最大熵分词方法等。随着大规模语料库的建立，统计机器学习方法的研究和发展，基于统计的中文分词方法渐渐成为了主流方法。

jieba分词的三种模式:精确模式：将句子最精确的分开，适合文本分析

全模式：句子中所有可以成词的词语都扫描出来，速度快，不能解决歧义

搜索引擎模式：在精确的基础上，对长词再次切分，提高召回

结巴分词的其他特点诸如：支持繁体分词，支持自定义词典，基于Trie树结构实现高效的词图扫描，采用了动态规划查找最大概率路径等特点。

jieba库中分词函数

1、jieba.cut()方法

参数string:需要接受分词的字符串。

参数cut_all：控制是否采用全模式分词发，参数为True时表示采用全模式。

参数HMM：控制是否使用HMM模型，参数为True时表示使用HMM模型。

2、jieba.cut_for_search()

参数string:需要接受分词的字符串。

参数HMM：控制是否使用HMM模型，参数为True时表示使用HMM模型。

jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语。jieba.lcut和jieba.lcut_for_search参数和上面两个方法一致但返回的是一个list。

python上的分词输出对比import jieba

string='上海市浦东新区世