jieba分词错误_jieba分词处理

分词是一种数学上的应用，他可以直接根据词语之间的数学关系进行文字或者单词的抽象，比如，讲一句话“我来自地球上中国”进行单词分割，我们可能会得到如下的内容：“我”、“来自”、“地球上”、“中国”，这些就相当于是分词的概念，在我们搜索引擎开发的过程中，是必须要要使用到分词的概念的。

jieba简介

jieba是一个在中文自然语言处理过程中使用最多的工具包之一，目前能够实现包括分词、词性标注以及命名实体识别等多种功能，一般的，jieba为我们提供了以下三种分词模式：

·精确模式：将句子进行最精确的切分，分词速度相对较低，但是分词准确。

·全模式：基于此会列表，能够将所有的可以分词的词语都扫描出来，分词速度非常快，凡是不能解决歧义性。

·搜索引擎模式：在精确模式的基础上，对长词进行在切分，适合在搜索引擎中进行监理索引进行的分词。

常用的方法有：

·`jieba.cut` 方法接受三个输入参数: 需要分词的字符串；cut_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用 HMM 模型

· `jieba.cut_for_search` 方法接受两个参数：需要分词的字符串；是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细

· 待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建议直接输入 GBK 字符串，可能无法预料地错误解码成 UTF-8

· `jieba.cut` 以及 `jieba.