分词

https://blog.csdn.net/haishu_zheng/article/details/80430106
jieba分词的算法介绍
(1)Tree树，有向无环图(DAG)
(2)动态规划，最大概率路径
(3)HMM模型，Viterbi算法

jieba功能点
1.3种分词模式
2.新词识别
3.自定义词典
4.关键词提取
5.去除停用词

Hanlp自然语言处理包
支持中文分词（N-最短路分词、CRF分词、索引分词、用户自定义词典、词性标注）
命名实体识别（中国人名、音译人名、日本人名、地名、实体机构名识别）
关键词提取
自动摘要
短语提取
拼音转换
简繁转换
文本推荐
依存句法分析（MaxEnt依存句法分析、CRF依存句法分析）