jieba分词怎么操作_jieba 分词的使用和原理浅析

自然语言处理目的在于让计算机“理解”人说的话或者文字，而在中文自然语言处理中第一步是获取语料，第二步就是对语料进行预处理，预处理的一个重要的环节就是对语料进行分词，其目的在于将一句话或者一个段落拆分成许多独立个体的词，这样能够方便后面将词转化成向量。

举个例子：

腾讯 DeepOcean 是一个很棒的技术公众号

当我们自己来读这句话的时候会自动的将这段话分解开理解就像这样：

腾讯 / DeepOcean / 是 / 一个 / 很棒的 / 技术 / 公众号

但是计算机并不会像人类一样去分词，那么就需要我们人类设计相应的算法来帮助计算机做到分词。

1. 现有的分词算法

现在已有的分词算法大体可以分为

基于字符串匹配的分词方法：这种做法需要有一个足够大的可匹配词典，这个词典中存储了很多的词条，然后计算机会与这些已经存在的词条进行匹配，匹配到一个就完成一个分词。

基于理解的分词方法：其做法就是让计算机尽可能模拟人类对于句子的理解，在分词的时候让计算机做到句法分析，语义分析，但是因为汉语言的庞杂以及多变性，这种分词方法并没有那么成熟。

基于统计的分词：这种做法是给出大量的已分好词的文本，然后利用机器学习此文本的分词方式和方法，训练相应的分词模型，从而达到对未知文本的分词，随着大量的语料库的出现以及应用，这种基于统计的分词渐渐的崭露头角。

2. jieba 分词

2.1 安装结巴分词器

全自动安装：easy_install jieba 或者 pip install jieba / pip3 install jieba

半自动安装&#