jieba 库以及其应用

jieba 库：是一个用于NIP,及自然语言分析的工具

（jieba库是一个第三方库，使用前要先进行安装）
如果是windows10 系统在python3命令端输入：.\pip3 install jieba

jieba 库的应用

1精确模式：将句子精确分开，适合文本分析
默认调用为:jieba.lcut(文本）

>>> import jieba
>>> jieba.lcut("我今天真好看")
['我', '今天', '真', '好看']

2.全模式：将句子中全部可以组成的词语扫描出来，但是不能解决歧义
默认调用为：jieba.lcut(文本，cut_all=True)

>>> import jieba
>>> jieba.lcut("我今天真好看",cut_all=True)
['我', '今天', '天真', '真好', '好看']

3.搜索引擎模式：在全模式的基础上，对长词再次分割，提高召回率，适用于搜索引擎分词
默认调用为：jieba.lcut_for_search(文本）

>>> jieba.lcut_for_search("我在河北职业技术学院上高中和初中")
['我', '在', '河北', '职业', '技术', '学院', '上', '高中', '和', '初中']
>>> 

jieba 库的其他应用

添加词语

1. ，jieba库之所以能够分词，因为它带有一个词库，可以根据词库进行分词
2. 可以使用jieba.add_word(文本）向jieba库中加入词语
3. 增加新词语后，遇到该词将不会被分词