python--jiaba库的基本使用

jieba 是一个用于中文分词的 Python 库。它使用基于统计的词典分词方法，能够支持三种分词模式：精确模式、全模式、搜索引擎模式，并且支持繁体分词和自定义词典。

以下是 jieba 库的基本使用步骤：

安装

首先，你需要安装 jieba 库。如果你还没有安装，可以通过 pip 来安装：

pip install jieba

1.基本使用

• 精确模式：试图将句子最精确地切开，适合文本分析。

import jieba  
seg_list = jieba.cut("我来到北京清华大学", cut_all=False)  
print("Default Mode: " + "/ ".join(seg_list))  # 输出: 我/ 来到/ 北京/ 清华大学

• 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义。

seg_list = jieba.cut("我来到北京清华大学", cut_all=True)  
print("Full Mode: " + "/ ".join(seg_list))  # 输出: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学

• 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

seg_list = jieba.cut_for_search("我来到北京清华大学", cut_all=False)  
print("Search Engine Mode: " + "/ ".join(seg_list))  # 输出: 我/ 来到/ 北京/ 清华/ 华大/ 大学/ 清华大学

 2.添加自定义词典

你可以通过 jieba.load_userdict(file_name) 函数来加载自定义词典。词典的每一行是一个词，词的后面是词频和词性（可省略），用空格隔开。

例如，假设你有一个名为 userdict.txt 的词典文件，内容如下：

清华大学 1 n  
北京大学 1 n

 你可以这样加载它：

jieba.load_userdict('userdict.txt')  
seg_list = jieba.cut("我来到北京清华大学", cut_all=False)  
print(" ".join(seg_list))  # 输出: 我/ 来到/ 北京/ 清华大学

 3.其他功能

jieba 还提供了很多其他功能，如词性标注、关键词提取、并行分词等。

注意：在使用 jieba 时，请确保 Python 环境已经正确安装并配置了 jieba 库。