《自然语言处理》—— jieba库的介绍与使用

一、jieba库有什么作用

jieba库是一个优秀的Python中文分词第三方库，主要用于将中文文本切分成词语或词汇单位，便于后续的自然语言处理（NLP）和文本分析任务。以下是对jieba库的详细介绍：

1、基本介绍

• 功能：jieba分词库提供了高效而灵活的中文分词功能，能够处理复杂的中文文本，并将其切分为合理的词汇单元。
• 特性：
  • 支持三种分词模式：精确模式、全模式和搜索引擎模式，满足不同场景下的需求。
  • 支持自定义词典，用户可以根据需要添加或删除特定的词汇，提高分词的准确性。
  • 提供了关键词提取功能，有助于文本摘要和信息检索等任务。
  • 实现了基于前缀词典和动态规划的分词算法，分词速度快且准确率高。

2、分词模式

• 精确模式：将文本精确地切分开，不存在冗余单词，适合文本分析任务。例如，jieba.cut(text, cut_all=False)。
• 全模式：把文本中所有可能的词语都扫描出来，速度非常快，但可能存在冗余数据。例如，jieba.cut(text, cut_all=True)。
• 搜索引擎模式：在精确模式的基础上，对长词再次进行切分，提高召回率，适合用于搜索引擎分词。例如，jieba.cut_for_search(text)。

3、常用函数

• jieba.cut：按照指定的分词模式切分文本，返回生成器。
• jieba.lcut：按照指定的分词模式切分文本，返回列表。
• jieba.load_userdict：加载用户自定义词典，以确保特定词汇被正确切分。
• jieba.add_word：手动添加一个新词汇到词典中，临时生效。
• jieba.del_word：从词典中删除一个词汇。
• jieba.suggest_freq：调整词出现的频率，以便更好地进行分词。
• jieba.enable_parallel：启用并行分词，提高分词速度。
• jieba.sent_tokenize：将文本拆分成句子。
• jieba.analyse.extract_tags：提取文本中的关键词，返回关键词列表。

4、应用场景

jieba库广泛应用于文本挖掘、搜索引擎、信息检索、文本分类、情感分析等多个领域。通过分词，jieba库能够帮助用户更好地理解和处理中文文本数据，从而提高相关应用的性能和效果。

5、安装与使用

• jieba库可以通过pip命令轻松安装，安装命令为pip install jieba。

  pip install jieba
  

• 安装完成后，即可在Python代码中通过import jieba来导入并使用jieba库。

  import jieba
  

二、示例代码

1、精确模式分词

• jieba.cut 和 jieba.lcut 精确分词的区别

  a = jieba.cut("我正在学习自然语言处理", cut_all=False)
  # 因为jieba.cut返回的是生成器，不能直接输出查看结果
  print(a)   # 结果：<generator object Tokenizer.cut at 0x0000016B5944F610>
  # 需要先转换为列表或其他可迭代对象才可以查看，且需要指定分隔符
  print(" / ".join(a))  # 结果：我 / 正在 / 学习 / 自然语言 / 处理
  
  a = jieba.lcut("我正在学习自然语言处理", cut_all=False)
  # 可以直接输出查看，返回的是一个列表
  print(a)  # 结果：['我', '正在', '学习', '自然语言', '处理']
  

• 因此选择 jieba.cut 还是 jieba.lcut 主要取决于你的具体需求：

  • 如果你需要边分词边处理，或者对内存使用有较高要求，推荐使用 jieba.cut。
  • 如果你需要立即获取所有分词结果并进行后续处理，或者对内存使用不敏感，那么 jieba.lcut 可能是一个更好的选择。

2、全模式分词

• 只需要将 cut_all=False 参数，改为 cut_all=True 即可

  a = jieba.cut("我正在学习自然语言处理", cut_all=True)
  print(" / ".join(a))  # 结果：我 / 正在 / 学习 / 自然 / 自然语言 / 语言 / 处理
  
  a = jieba.lcut("我正在学习自然语言处理", cut_all=True)
  print(a)  # 结果：['我', '正在', '学习', '自然', '自然语言', '语言', '处理']
  
  """
  全模式：把文本中所有可能的词语都切出来
  这里便是把‘自然语言’所有可能的词语都切出来
  """
  

3、搜索引擎模式分词

• 搜索引擎模式会进一步细化分词

  import jieba
  
  text = "我爱北京天安门，天安门上太阳升。"
  seg_list = jieba.cut_for_search(text)
  print("/ ".join(seg_list))
  
  # 输出结果（实际输出可能有所不同）: 搜索引擎模式分词结果：我/ 爱/ 北京/ 天安/ 天安门/ ，/ 天安/ 天安门/ 上/ 太阳/ 太阳升/ 。
  

4、向jieba词典中添加一个新词

• 向jieba词典中添加一个新词后，在切分句子中有这个新词时便会将他看成一个词，便不会对它再进行更细的切分

  import jieba
  
  str = '我正在学习自然语言处理'
  a = jieba.lcut(sentence=str)
  print(a)  # 结果：['我', '正在', '学习', '自然语言', '处理']
  
  str = '我正在学习自然语言处理'
  jieba.add_word('自然语言处理')  # 向词典添加一个新词
  a = jieba.lcut(sentence=str)
  print(a)  # 结果：['我', '正在', '学习', '自然语言处理']
  

5、自定义词典，添加到jiba词库中

• 意思就是可以自定义一些词，放在文本中，添加到jib词库中，在分词的时候让系统默认这些词就是一个单独的词语，不用再分

• 其实就是添加多个新词

  import jieba
  
  # 假设我们有一个自定义词典文件 自定义词典.txt，内容如下：  
  # 著名的高等学府
  # 优秀的科技公司
  
  jieba.load_userdict("自定义词典.txt")  # 加载自定义词典
  text = "清华大学是著名的高等学府，华为公司是一家优秀的科技公司。"
  a = jieba.lcut(sentence=text)
  print(a)
  # 输出结果: ['清华大学', '是', '著名的高等学府', '，', '华为公司', '是', '一家', '优秀的科技公司', '。']