NLP--jieba(1)

最新推荐文章于 2024-07-20 15:55:48 发布

lgy54321

最新推荐文章于 2024-07-20 15:55:48 发布

阅读量177

点赞数

分类专栏： NLP

本文链接：https://blog.csdn.net/lgy54321/article/details/90669712

版权

本文介绍了jieba分词库的基本使用，包括`jieba.cut`和`jieba.cut_for_search`函数，前者适用于常规分词，后者适合搜索引擎的倒排索引构建。同时，讲解了`jieba.lcut`和`jieba.lcut_for_search`直接返回列表的特性。此外，还详细说明了如何添加用户自定义词典，包括动态修改词典和调整词频。

摘要由CSDN通过智能技术生成

文章目录

1.基本分词函数与用法
jieba.lcut以及jieba.lcut_for_search直接返回 list
添加用户自定义词典

1.基本分词函数与用法

jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)

jieba.cut 方法接受三个输入参数:

需要分词的字符串
cut_all 参数用来控制是否采用全模式
HMM 参数用来控制是否使用 HMM 模型

jieba.cut_for_search 方法接受两个参数

需要分词的字符串
是否使用 HMM 模型。
该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细

import jieba

seg_list=jieba.cut("我在学习自然语言处理",cut_all=True)
print(seg_list)
print("Full Mode:"+"/".join(seg_list)) #全模式
seg_list1=jieba.cut('我在学习自然语言处理',cut_all=False)
print("Default Mode:"+"/".join(seg_list1