7. Python 结巴中文分词

最新推荐文章于 2024-08-08 07:15:18 发布
最新推荐文章于 2024-08-08 07:15:18 发布
阅读量1.2k 收藏 4
点赞数
分类专栏： Python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hukfei/article/details/78362847
版权

结巴中文分词

此文档只是作为对 jieba 分词学习的一个记录，详情请参见 jieba 中文分词文档。

1. 特点

  • 支持三种分词模式
    • 精确模式：试图将句子最精确的分开
    • 全模式：把剧终中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义
    • 搜索引擎模式：在精确模式的基础之上，对长词再次切分，提高召回率，适合用于搜索引擎
  • 支持繁体分词
  • 支持自定义词典
  • MIT 授权协议

开源协议

代码示例

"""
jieba 中文分词
"""
logger = initiate_log()

# def __init__(self):
#     self.logger = initiate_log()

def get_split_line(self, topic):
    return '='*30 + topic + '='*30

def test_split_mode(self):
    """
    分词模式
    """
    topic = '分词模式'
    split_line = self.get_split_line(topic)
    self.logger.debug(split_line)
    """
    全模式：把句子中所有的金额已成词的词语都扫描出来，速度非常快，但不能解决歧义
    """
    seg_list = jieba.cut("中华人民共和国", cut_all=True)
    self.logger.info("{topic}_全模式: {msg}".format(topic=topic, msg="/ ".join(seg_list)))

    """
    精确模式：试图将句子最精确的切开，适合文本分析
    """
    seg_list = jieba.cut("中华人民共和国", cut_all=False)
    self.logger.info("{topic}_精确模式(默认): {msg}".format(topic=topic, msg="/".join(seg_list)))

    """
    搜索模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词
    """
    seg_list = jieba.cut_for_search("中华人民共和国")
    self.logger.info("{topic}_搜索模式: {msg}".format(topic=topic, msg=", ".join(seg_list)))
2017-10-27 11:10:58,940 root|test_split_mode|INFO|分词模式_全模式: 中华/ 中华人民/ 中华人民共和国/ 华人/ 人民/ 人民共和国/ 共和/ 共和国
2017-10-27 11:10:58,940 root|test_split_mode|INFO|分词模式_精确模式(默认): 中华人民共和国
2017-10-27 11:10:58,941 root|test_split_mode|INFO|分词模式_搜索模式: 中华, 华人, 人民, 共和, 共和国, 中华人民共和国

2. 自定义词典

  • 可以通过 jieba.load_userdict(file_name) 来自定义词典。
  • 可以通过 add_word(word, freq=None, tag=None) 和 del_word(word) 来动态调整词典
  • 可以通过 suggest_freq(segment, tune=True) 可调节单个词语的词频，使其能（或不能）被分出来。

    Note: 自动计算的词频在使用 HMM 新词发现功能时可能无效。


代码示例 
def test_user_dict(self):
    """
    2. 自定义词典
    """
    topic = '添加自定义词典'
    split_line = self.get_split_line(topic)
    self.logger.debug(split_line)
    test_sent = """李小福是创新办主任也是云计算方面的专家; 什么是八一双鹿\n
    例如我输入一个带“韩玉赏鉴”的标题，在自定义词库中也增加了此词为N类\n
    台中」正確應該不會被切開。mac上可分出「石墨烯」；此時又可以分出來凱特琳了。
    """
    words = jieba.cut(test_sent)
    self.logger.debug('{topic}_原始: {msg}'.format(topic=topic, msg='/'.join(words)))

    """
            调整词典：动态修改词典
            """
    userdict_path = os.path.dirname(__file__) + "/jieba_dict/dict.txt"
    jieba.add_word('石墨烯')
    jieba.add_word('凱特琳')
    jieba.del_word('自定义词')
    jieba.load_userdict(userdict_path)
    words = jieba.cut(test_sent)
    self.logger.debug('{topic}_自定义字典分词：{msg}'.format(topic=topic, msg='/'.join(words)))

    self.logger.debug('test split words' + "=" * 40)
    terms = jieba.cut('easy_install is great')
    self.logger.debug('{topic}_字典分词: {msg}'.format(topic=topic, msg='/'.join(terms)))
    jieba.del_word('easy_install')
    terms = jieba.cut('easy_install is great')
    self.logger.debug('{topic}_删除单词: {msg}'.format(topic=topic, msg='/'.join(terms)))
    terms = jieba.cut('python 的正则表达式是好用的')
    self.logger.debug('{topic}_单词: {msg}'.format(topic=topic, msg='/'.join(terms)))

    self.logger.debug('test frequency tune' + "=" * 40)
    word = '这里中将应该被切开'
    self.logger.debug('{topic}_调低词频之前: {msg}'.format(topic=topic, msg='/'.join(jieba.cut(word))))
    self.logger.debug('{topic}_调整词频: {msg}'.format(
        topic=topic,
        msg='before: {before}, after: {after}'.format(
            before=jieba.get_FREQ('中将'),
            after=jieba.suggest_freq(('中', '将'), True))))
    self.logger.debug('{topic}_调低词频之后: {msg}'.format(topic=topic, msg='/'.join(jieba.cut(word, HMM=False))))

    jieba.del_word('台中')
    word = '[台中]正确应该不会被切开'
    self.logger.debug('{topic}_调高词频之前: {msg}'.format(topic=topic, msg='/'.join(jieba.cut(word))))
    self.logger.debug('{topic}_调整词频: {msg}'.format(
        topic=topic,
        msg='before: {before}, after: {after}'.format(
            before=jieba.get_FREQ('台中'),
            after=jieba.suggest_freq('台中', True))))
    self.logger.debug('{topic}_调高词频之后: {msg}'.format(topic=topic, msg='/'.join(jieba.cut(word, HMM=False))))
2017-10-27 11:11:46,479 root|test_user_dict|DEBUG|添加自定义词典_原始: 李小福/是/创新/办/主任/也/是/云/计算/方面/的/专家/;/ /什么/是/八/一双/鹿/
/
/ / / / / / / / /例如/我/输入/一个/带/“/韩玉/赏鉴/”/的/标题/，/在/自定义词/库中/也/增加/了/此/词为/N/类/
/

/ / / / / / / / /台/中/」/正確/應該/不會/被/切開/。/mac/上/可/分出/「/石墨/烯/」/；/此時/又/可以/分出/來凱/特琳/了/。/
/ / / / / / / /
2017-10-27 11:11:46,480 root|test_user_dict|DEBUG|添加自定义词典_自定义字典分词：李小福/是/创新办/主任/也/是/云计算/方面/的/专家/;/ /什么/是/八一双鹿/
/
/ / / / / / / / /例如/我/输入/一个/带/“/韩玉赏鉴/”/的/标题/，/在/自定义/词库/中/也/增加/了/此/词为/N/类/

/
/ / / / / / / / /台中/」/正確/應該/不會/被/切開/。/mac/上/可/分出/「/石墨烯/」/；/此時/又/可以/分出/來/凱特琳/了/。/
/ / / / / / / /
2017-10-27 11:11:46,480 root|test_user_dict|DEBUG|test split words========================================
2017-10-27 11:11:46,480 root|test_user_dict|DEBUG|添加自定义词典_字典分词: easy_install/ /is/ /great
2017-10-27 11:11:46,480 root|test_user_dict|DEBUG|添加自定义词典_删除单词: easy/_/install/ /is/ /great
2017-10-27 11:11:46,480 root|test_user_dict|DEBUG|添加自定义词典_单词: python/ /的/正则表达式/是/好用/的
2017-10-27 11:11:46,480 root|test_user_dict|DEBUG|test frequency tune========================================
2017-10-27 11:11:46,480 root|test_user_dict|DEBUG|添加自定义词典_调低词频之前: 这里/中将/应该/被/切开
2017-10-27 11:11:46,480 root|test_user_dict|DEBUG|添加自定义词典_调整词频: before: 763, after: 494
2017-10-27 11:11:46,480 root|test_user_dict|DEBUG|添加自定义词典_调低词频之后: 这里/中/将/应该/被/切开
2017-10-27 11:11:46,480 root|test_user_dict|DEBUG|添加自定义词典_调高词频之前: [/台/中/]/正确/应该/不会/被/切开
2017-10-27 11:11:46,480 root|test_user_dict|DEBUG|添加自定义词典_调整词频: before: 0, after: 69
2017-10-27 11:11:46,481 root|test_user_dict|DEBUG|添加自定义词典_调高词频之后: [/台中/]/正确/应该/不会/被/切开

3. 关键词抽取

  • 通过 jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
    • sentence 为待提取的文本
    • topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20
    • withWeight 为是否一并返回关键词权重值，默认值为 False
    • allowPOS 仅包括指定词性的词，默认值为空，即不筛选
  • jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 实例，idf_path 为 IDF 频率文件

Note：此处关键词抽取自己没有理解透彻，在自定义语料库的实践上存在问题，没有出现预期的效果。

代码示例

def test_extract_tags(self):
    """
    3. 关键词抽取
    """
    topic = '关键词抽取'
    split_line = self.get_split_line(topic=topic)
    self.logger.info(split_line)

    term = '我们时人中国的可是is of super man'
    res = analyse.extract_tags(term)
    self.logger.info('{topic}_标准抽取: {term} -> {msg}'.format(topic=topic, term=term, msg=res))

    #  TODO: 自定义语料库运行有问题
    user_idf_path = os.path.dirname(__file__) + '/jieba_dict/idf.txt.big'
    analyse.set_idf_path(user_idf_path)
    res = analyse.extract_tags(term)
    self.logger.info('{topic}_自定义逆向文件频率: {term} -> {msg}'.format(topic=topic, term=term, msg=res))
2017-10-27 11:13:07,795 root|test_extract_tags|INFO|关键词抽取_标准抽取: 我们时人中国的可是is of super man -> ['man', 'super', '可是', '我们', '中国']
2017-10-27 11:13:07,822 root|test_extract_tags|INFO|关键词抽取_自定义逆向文件频率: 我们时人中国的可是is of super man -> ['中国', 'man', '可是', '我们', 'super']

4. Tokenize：返回词语在原文的起止位置

Tokenize：返回词语在原文的起止位置

代码示例

def test_tokenize(self):
    """
    Tokenize: 返回词语在原文的位置
    """
    topic = '返回词语在原文的位置'
    split_line = self.get_split_line(topic)
    self.logger.debug(split_line)

    term = '我们都是炎黄子孙'
    res = jieba.tokenize(term)
    for tk in res:
        self.logger.debug('{topic}_默认模式_{term}: {msg}'.format(topic=topic,
                                                         term=term,
                                                         msg="word %s\t\t start: %d \t\t end:%d" % (
                                                         tk[0], tk[1], tk[2])))

    res = jieba.tokenize(term, mode='search')
    for tk in res:
        self.logger.debug('{topic}_搜索模式_{term}: {msg}'.format(topic=topic,
                                                         term=term,
                                                         msg="word %s\t\t start: %d \t\t end:%d" % (
                                                         tk[0], tk[1], tk[2])))
2017-10-27 11:13:35,993 root|test_tokenize|DEBUG|返回词语在原文的位置_默认模式_我们都是炎黄子孙: word 我们       start: 0        end:2
2017-10-27 11:13:35,993 root|test_tokenize|DEBUG|返回词语在原文的位置_默认模式_我们都是炎黄子孙: word 都        start: 2        end:3

2017-10-27 11:13:35,994 root|test_tokenize|DEBUG|返回词语在原文的位置_默认模式_我们都是炎黄子孙: word 是        start: 3        end:4
2017-10-27 11:13:35,994 root|test_tokenize|DEBUG|返回词语在原文的位置_默认模式_我们都是炎黄子孙: word 炎黄子孙         start: 4        end:8
2017-10-27 11:13:35,994 root|test_tokenize|DEBUG|返回词语在原文的位置_搜索模式_我们都是炎黄子孙: word 我们       start: 0        end:2
2017-10-27 11:13:35,994 root|test_tokenize|DEBUG|返回词语在原文的位置_搜索模式_我们都是炎黄子孙: word 都        start: 2        end:3
2017-10-27 11:13:35,994 root|test_tokenize|DEBUG|返回词语在原文的位置_搜索模式_我们都是炎黄子孙: word 是        start: 3        end:4
2017-10-27 11:13:35,994 root|test_tokenize|DEBUG|返回词语在原文的位置_搜索模式_我们都是炎黄子孙: word 炎黄       start: 4        end:6
2017-10-27 11:13:35,994 root|test_tokenize|DEBUG|返回词语在原文的位置_搜索模式_我们都是炎黄子孙: word 子孙       start: 6        end:8
2017-10-27 11:13:35,994 root|test_tokenize|DEBUG|返回词语在原文的位置_搜索模式_我们都是炎黄子孙: word 炎黄子孙         start: 4        end:8
_kaifei
关注
专栏目录
Python利用结巴分词进行中文分词
jiahui_zhu的博客
12-03 6715
利用结巴分词进行中文分词，选择全模式，建立词倒排索引，并实现一般多词查询和短语查询 # -*- coding: utf-8 -*- import jieba ''' Created on 2015-11-23 ''' def word_split(text): """ Split a text in words. Returns a list of tuple that con
"结巴"中文分词
藏经阁 | 玄苦
05-24 4274
1. 结巴中文分词 结巴分词是国内程序员用开发的一个中文分词模块, 源码已托管在github, https://github.com/fxsjy/jieba 2. 结巴分词算法: a. 基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG) b. 采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合 ...
Python 结巴分词——自然语言处理之中文分词器
Xylon的博客
05-10 2597
jieba分词算法使用了基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能生成词情况所构成的有向无环图(DAG), 再采用了动态规划查找最大概率路径，找出基于词频的最大切分组合，对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法。 jieba分词支持三种分词模式： 1. 精确模式, 试图将句子最精确地切开，适合文本分析： 2. 全模式，把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义； 3. 搜索引擎模式，在精确模式的基础上，对长词再词切分，提高.
文章标题：深入解析 “结巴” —— 最佳Python中文分词利器
最新发布
gitblog_00372的博客
08-08 356
文章标题：深入解析 “结巴” —— 最佳Python中文分词利器 jieba结巴中文分词项目地址:https://gitcode.com/gh_mirrors/ji/jieba 项目简介 “结巴”，又称为“Jieba”，是当前最受欢迎的Python中文分词组件之一。这款由“feixiang”开发的工具，以其卓越的性能和丰富的功能，成为自然语言处理领域不可或缺的一份子。“结巴”不仅适用于学术研究，...
Python-jieba结巴中文分词做最好的Python中文分词组件
08-10
jieba：“结巴”中文分词：做最好的 Python 中文分词组件
结巴中文分词使用学习（python）
竹聿Simon的专栏
05-21 1万+
中文分词工具：结巴分词 github地址：https://github.com/fxsjy/jieba一、分词功能 精确模式（默认）：试图将句子最精确地切开，适合文本分析； 全模式，把句子中所有的可以成词的词语都扫描出来，但是不能解决歧义； 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细。注意：jieba.cut以及jieba.c
Python结巴中文分词工具使用过程中遇到的问题及解决方法
01-20
本文实例讲述了Python结巴中文分词工具使用过程中遇到的问题及解决方法。分享给大家供大家参考，具体如下： 结巴分词是Python语言中效果最好的分词工具，其功能包括：分词、词性标注、关键词抽取、支持用户词表等。...
Python_结巴中文分词.zip
05-23
Python作为一门强大的编程语言，拥有众多用于中文分词的库，其中“结巴分词”（Jieba）是最受欢迎且广泛使用的工具之一。这个名为“Python_结巴中文分词.zip”的压缩包可能包含有关如何使用Python和Jieba进行中文...
python中文分词,使用结巴分词对python进行分词(实例讲解)
12-24
中文分词是中文文本处理的一个基础性工作，结巴分词利用进行中文分词。 其基本实现原理有三点： 1.基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG) 2.采用了动态规划...
Python中文分词工具之结巴分词用法实例总结【经典案例】
01-20
结巴分词工具的安装及基本用法，前面的文章《Python结巴中文分词工具使用过程中遇到的问题及解决方法》中已经有所描述。这里要说的内容与实际应用更贴近——从文本中读取中文信息，利用结巴分词工具进行分词及词性...
结巴中文分词
03-19
比较好的Python下的中文分词工具，但是速度不是特别快，可以看看我的博客说明
SCWS繁体中文分词辞典txt格式
03-15
这是我在研究中文分词时找到的一个辞典。感谢hightman的基础工作。==============================================SCWS-1.x.x 自述文件 (Written by hightman)HomePage: http://www.hightman.cn...[SCWS 简介]SCWS 是 Simple Chinese Words Segmentation 的缩写（简易中文分词系统）。它是一套基于词频词典的机械中文分词引擎，它能将一整段的汉字基本正确的切分成词，因为词是汉语的基本语素单位，而书写的时候不像英语会在词之间用空格分开，所以如何准确快速的分词一直是中文分词的攻关难点。本分词法并无太多创新成分，采用的是自己采集的词频词典，并辅以一定的专有名称，人名，地名，数字年代等规则识别来达到基本分词，经小范围测试大概准确率在 90% ~ 95% 之间，已能基本满足一些小型搜索引擎、关键字提取等场合运用。首次雏形版本发布于 2005 年底。本系统支持的汉字编码包括 GBK、UTF-8在线分词演示：G B K: http://www.hightman.cn/demo/scws/v4.php UTF-8: http://www.hightman.cn/demo/scws/v48.php 详情可参看：http://www.hightman.cn/?scws
结巴中文分词源代码
04-11
中文分词、标注系统源代码，我用过挺好的跟大家分享一下
结巴中文分词.zip
09-24
结巴中文分词.zip,结巴中文分词
python结巴分词代码_Python 使用结巴分词(jieba)调用命令行分词及示例代码
weixin_39750854的博客
12-04 652
1､安装引用结巴分词(jieba)代码对 Python 2/3 均兼容1) 全自动安装easy_install jieba或者pip install jieba或者pip3 install jieba2) 半自动安装3) 手动安装将 jieba 目录放置于当前目录或者 site-packages 目录4) 使用介绍通过 import jieba 来引用如果需要使用paddle模式下的分词和词性标注...
python 结巴分词(jieba)详解
lukabruce的博客
09-03 1万+
【转自：https://www.cnblogs.com/jackchen-Net/p/8207009.html】 “结巴”中文分词：做最好的 Python 中文分词组件 "Jieba" (Chinese for "to stutter") Chinese text segmentation: built to be the best Python Chinese word segmentati...
Python jieba切词基础实战
u011311291的博客
12-14 8560
#coding=utf-8 ''' Created on 2017-12-11jieba的主要功能 1.主要用于中文文本切词，如果碰到英文单词，也会以英文的默认形式切分 2.可以使用collections中的Counter对切词后的list进行一个topN操作获取最频繁词 3.提取关键词，提供了tf-idf和TextRank 切词注意事项: 1.使用jieba切词，如果发现有些词需要合并或者分开，则
【python】你听说过结巴，不对是jieba吗？
bagell的博客
09-13 342
使用jieba分词时，分词结果需要与jieba的词典库进行匹配，才能返回到分词结果中。因此有些词需要用户自定义，才能识别到。jieba.add_word('铃儿响叮当')jieba.add_word('让世界充满爱')jieba.add_word('迅雷不及掩耳之势')print('[添加自定义词语]：', lcut_res)[添加自定义词语]： ['迅雷', '迅雷不及', '迅雷不及掩耳', '不及', '掩耳', '掩耳盗铃',
中文分词的基本原理以及jieba分词的用法
热门推荐
JohnSon
01-21 7万+
结巴分词是国内程序员用Python开发的一个中文分词模块，可能是最好的Python中文分词组件？ 中文分词的原理 – 1、中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程 2、现有的分词算法可分为三大类：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法
Python结巴分词实战：关键词抽取与分析
结巴分词是Python中常用的中文分词工具，它支持多种功能，包括精确模式、全模式和搜索引擎模式的分词，以及关键词抽取。关键词抽取分为两种基本方法：关键词分配和关键词抽取。前者依赖预定义的关键词库，而后者直接...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值