python汉语词典_使用python进行汉语分词

目前我常常使用的分词有结巴分词、NLPIR分词等等

最近是在使用结巴分词，稍微做一下推荐，还是蛮好用的。

一、结巴分词简介

利用结巴分词进行中文分词，基本实现原理有三：

基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图(DAG)

采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合

对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法

二、安装及使用(Linux)

1.下载工具包，解压后进入目录下，运行：python setup.py install

Hint：a.一个良好的习惯是，对于下载下来的软件，先看readme ，再进行操作。(没有阅读readme，直接尝试+百度，会走很多弯路)；

b.当时运行安装命令时，出现错误：no permission！ (有些人可能会遇见这种问题，这是因为权限不够的。 执行：sudo !! 其中“!!”表示上一条命令，这里指的就是上面的安装命令)，使用sudo后便可正常运行。

2.在使用结巴做分词的时候，一定会用的函数是：jieba.cut(arg1，arg2)；这是用于分词的函数，我们只需要了解以下三点，便可使用

a.cut方法接受两个输入参数：第一个参数(arg1)为需要进行分词的字符串，arg2参数用来控制分词模式。

分词模式分为两类：默认模式，试图将句子最精确地切开，适合