python系列-jieba中文分词工具基本操作

一、jieba分词工具的介绍及安装方法

       jieba分词工具又叫做结巴分词，被誉为python最好的分词工具，有精确模式、全模式、搜索引擎模式三种模式。

       结巴分词库安装很简单，只需要pip install jieba即可完成

二、jieba基本操作

（1）基本步骤：打开文件-读取文件-分词-写入新文件

（2）每个分词之间用空格进行区分fw.write(' '.join(sent_list))

注意事项：jieba支持unicode、UTF-8 、GBK 编码形式，但使用GBK容易产生解码错误