python学习笔记——jieba库入门

一、查找官方文档

1.百度

https://pypi.org/project/jieba/ 

2.完整文档:https://github.com/fxsjy/jieba

 

二、介绍

1.简介

 jieba(中文意思是“结巴”)中文文本切分:打造成最好的Python中文分词模块。

2.特点

  • 支持四种分词模式:
    • 精确模式,试图将句子最精确地切开,适合文本分析;
    • 全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;
    • 搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。
    • paddle模式,利用PaddlePaddle深度学习框架,训练序列标注(双向GRU)网络模型实现分词。同时支持词性标注。paddle模式使用需安装paddlepaddle-tiny,pip install paddlepaddle-tiny==1.6.1。目前paddle模式支持jieba v0.40及以上版本。jieba v0.40以下版本,请升级jieba,pip install jieba --upgrade 。PaddlePaddle官网
  • 支持繁体分词
  • 支持自定义词典
  • MIT 授权协议

 

三、主要功能

1.分词

1.1前三种分词模式案例

import jieba

string = '中华人民共和国是一个伟大的国家'

#精确模式
aa = jieba.lcut(string)  # 等效于:jieba.lcut(string, cut_all=False)是否分割出所有情况=否
print(aa)
#全模式
aa = jieba.lcut(string, cut_all=True)  # 是否分割出所有情况=是
print(aa)
#搜索引擎模式(在精确模式的基础上,对长词再次切分)
aa = jieba.lcut_for_search(string)
print(aa)

结果:


['中华人民共和国', '是', '一个', '伟大', '的', '国家']

['中华', '中华人民', '中华人民共和国', '华人', '人民', '人民共和国', '共和', '共和国', '国是', '一个', '伟大', '的', '国家']

['中华', '华人', '人民', '共和', '共和国', '中华人民共和国', '是', '一个', '伟大', '的', '国家']

1.2相似方法

原理:查看源码可知, lcut()是cut()放进list里返回的数据

 

2.添加自定义词典(提高分词准确率

开发者可以指定自己自定义的词典以便包含 jieba 词库里没有的词。虽然 jieba 有新词识别能力,但是自行添加新词可以保证更高的正确率

2.1 一个精确模式案例

import jieba

string = '小明白参加云计算项目研究'
aa = jieba.lcut(string)
print(aa)

结果:

['小', '明白', '参加', '云', '计算', '项目', '研究']

发现:“小明白”这个人名分的不准确,“云计算”这个名词分的也不准确。

2.2 解决方案1:

使用 jieba.add_word(word)添加词库没有的词
import jieba

string = '小明白参加云计算项目研究'
jieba.add_word("云计算")
jieba.add_word("小明白")
aa = jieba.lcut(string)
print(aa)

结果:

['小明白', '参加', '云计算', '项目', '研究']

2.2 解决方案2(载入词典文件):

jieba.load_userdict(file_name) # file_name 为文件类对象或自定义词典的路径

先建一个XX.txt文件

import jieba

string = '小明白参加云计算项目研究'
jieba.load_userdict('dict.txt')
aa = jieba.lcut(string)
print(aa)

结果:

['小明白', '参加', '云计算', '项目', '研究']

3.关键词提取

import jieba.analyse

  • jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
    • sentence 为待提取的文本
    • topK 为返回几个 TF/IDF 权重最大的关键词,默认值为 20
    • withWeight 为是否一并返回关键词权重值,默认值为 False
    • allowPOS 仅包括指定词性的词,默认值为空,即不筛选
  • jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 实例,idf_path 为 IDF 频率文件
import jieba.analyse

string = '小明白参加云计算项目研究'
jieba.add_word("云计算")
jieba.add_word("小明白")
new_words = jieba.analyse.extract_tags(string, topK=3)
print(new_words)

结果:

['小明白', '云计算', '参加']

 

 

 

©️2020 CSDN 皮肤主题: 技术工厂 设计师:CSDN官方博客 返回首页