jieba分词详解

最新推荐文章于 2024-05-25 09:33:31 发布
置顶 最新推荐文章于 2024-05-25 09:33:31 发布
阅读量4.8w 收藏 20
点赞数 3
分类专栏： 自然语言处理 语言模型 文章标签： 自然语言处理 分词
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/asrgreek/article/details/87906165
版权

语音识别中有一项任务就是训练语言模型，而对于中文的语言模型，需要事先进行分词。而语音识别中的语言模型还有个特殊的要求，就是语言模型中的所有词都必须在发音词典中(也就是说每个词都要有对应的发音)。因此这就限制了我们不能使用Stanford分词，哈工大分词等工具，因为这些分词工具分出来的词有可能不在发音词典中。现在在语音识别任务中最常使用的是scws机械分词，和jieba分词(把hmm分词选项关了)。经过实际比对，发现使用jieba分词后训练的语言模型会比scws好些。

下面我们来介绍下jieba分词的原理：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

nlpgeek
关注
  • 3
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
jieba分词（python使用篇）（一）
满腹的小不甘
09-08 920
地址：https://github.com/fxsjy/jieba 特点 支持四种分词模式： 精确模式：试图将句子最精确地切开，适合文本分析； 全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义； 搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。 paddle模式：利用PaddlePaddle深度学习框架，训练序列标注（双向GRU）网络模型实现分词。同时支持词性标注。paddle模式使用需安装paddlepaddle-tiny
结巴分词优点_自然语言处理工具中的中文分词器介绍
weixin_42458021的博客
01-16 612
中文分词是中文文本处理的一个基础步骤，也是中文人机自然语言交互的基础模块，不同于英文的是，中文句子中没有词的界限，因此在进行中文自然语言处理时，通常需要先进行分词，分词效果将直接影响词性，句法树等模块的效果，当然分词只是一个工具，场景不同，要求也不同。在人机自然语言交互中，成熟的中文分词算法能够达到更好的自然语言处理效果，帮助计算机理解复杂的中文语言。基于词典分词算法基于词典分词算法，也称为字符串...
NLP算法-中文分词工具-Jieba
Albert_weiku的博客
10-25 3514
jieba的主要功能是做中文分词，可以进行简单分词、并行分词、命令行分词，当然它的功能不限于此，目前还支持关键词提取、词性标注、词位置查询等。 更让人愉悦的是jieba虽然立足于python，但同样支持其他语言和平台，诸如：C++、Go、R、Rust、Node.js、PHP、 iOS、Android等。所以jieba能满足各类开发者的需求。
推荐使用：SpeechTokenizer —— 统一语音分词器，打造语音语言模型新体验！
最新发布
gitblog_00091的博客
05-25 399
推荐使用：SpeechTokenizer —— 统一语音分词器，打造语音语言模型新体验！ 项目地址:https://gitcode.com/ZhangXInFD/SpeechTokenizer 在当今的自然语言处理领域，语音识别和理解正日益成为不可或缺的一部分。而SpeechTokenizer正是一个专为此设计的开源项目，它提供了统一的语音分词器，适用于语音语言模型，采用编码器-解码器架构配合残差...
自然语言处理课程（二）：Jieba分词的原理及实例操作
weixin_33895516的博客
12-26 209
文章来源：企鹅号 - 一鱼数据 文|一鱼数据 上节课，我们学习了自然语言处理课程（一）：自然语言处理在网文改编市场的应用，了解了相关的基础理论。接下来，我们将要了解一些具体的、可操作的技术方法。 作为小说爱好者的你，是否有设想过通过一些计算机工具对小说做一些有趣的事情呢？阅读本文，你可以了解到如何运用现在最流行、最容易运用的jieba分词包，统计一个段落的词频，然后来通过词频推断小...
结巴分词优点_“结巴”中文分词：做最好的 Python 中文分词组件
weixin_36463451的博客
01-12 1358
jieba是一个在中文自然语言处理中用的最多的工具包之一，它以分词起家，目前已经能够实现包括分词、词性标注以及命名实体识别等多种功能。既然Jieba是以分词起家，我们自然要首先学习Jieba的中文分词功能。Jieba提供了三种分词模式：精确模式 ： 在该模式下，Jieba会将句子进行最精确的切分全模式 ： 把句子中所有可以成词的词语都扫描出来，优点在于该模式非常快，缺点也很明显，就是不能有效解决歧...
jieba分词详解和实践
01-20
jieba分词是目前最好的 python中文分词组件。在讲解jieba分词之前，我们先了解一下中文分词的一些概念： 最常用的TF-IDF 什么是TF-IDF呢？要分成2个部分来理解。 TF，词频——一个词在文章中出现的次数 IDF，在词频...
少年街霸游戏程序
10-29
《少年街霸游戏程序》是一款深受玩家喜爱的经典游戏，它承载了无数人的童年记忆。这款游戏在当时的街机市场上占据了重要地位，以其独特的角色设计、刺激的格斗体验和丰富的游戏模式吸引了众多玩家。 《少年街霸》的...
Lowpoly风街霸角色布兰卡（Blanka）Blender源文件
11-03
Lowpoly风街霸角色布兰卡（Blanka）Blender源文件 老王的原创教程见《手把手带你Godot游戏开发 第二弹】名场面临摹 之 街霸3D》 https://orzgame.blog.csdn.net/article/details/109402316
街霸4设置汉化补丁
04-07
街霸4设置汉化补丁,界面汉化补丁,使用与街霸43DM
少年街霸图标下载
12-25
【标题】"少年街霸图标下载"所涉及的知识点主要集中在游戏图标的设计、制作与应用上。《少年街霸》（Street Fighter）是一款经典的动作格斗游戏，其图标设计是品牌形象的重要组成部分，对于吸引玩家、传达游戏风格和...
【简单总结】jieba分词
weixin_44151089的博客
03-18 1067
【简单总结】jieba分词回顾与总结 一、安装方法 自动安装 pip install jieba 半自动安装：下载 http://pypi.python.org/pypi/jieba，解压后运行 python setup.py install 手动安装：将jieba目录放置于当前目录或sit-packages目录下 二、jieba分词简单介绍 一、支持三种分词模式与特点： 精准模式：试...
python结巴分词的缺点_基于python的自然语言分析（三）-----结巴分词的基本功能...
weixin_39598568的博客
11-30 422
因为Nltk的分词功能具有一定的局限性，所以我们在对中文的进行分词时，需要使用一些靠谱的中文分词工具，笔者在此使用的是结巴分词。结巴分词的安装和其他包的安装基本一致，使用pip即可，在安装好后我们将对其基本功能进行熟悉和使用；1)分词功能：结巴分词的分词功能有【全模式】和【精确模式】两种# -*-coding:utf-8 -*-import jiebalist_all=jieba.cut("我是一...
中文分词工具比较 6大中文分词器测试（哈工大LTP、中科院计算所NLPIR、清华大学THULAC和jieba、FoolNLTK、HanLP）
热门推荐
shuihupo的博客
08-09 3万+
#!/ Mypython # -*- coding: utf-8 -*- # @Time : 2018/8/5 22:19 # @Author : LinYimeng # @File : fenci_ceshi.py # @Software: PyCharm import time testCases=["结婚的和尚未结婚的确实在干扰分词啊&a
结巴分词较好，可借鉴
erinapple的博客
06-06 1143
import os import jieba import jieba.posseg as pseg import sys import string from sklearn import feature_extraction from sklearn.feature_extraction.text import TfidfTransformer from sklearn.feature_ext...
NLP之分词jieba、HanLP、中科院nlpir
chenxinvhai89的专栏
06-21 1408
目前主流的分词有jieba、哈工大LTP、中科院计算所NLPIR、清华大学THULAC和FoolNLTK、HanLP jieba分词目前是最主流的python中文分词组件，包括精确模式，在jieba分词中需要加载自定义词库（特殊领域）和使用正则表达式做过滤 1、对命名实体识别要求较高的可以选择HanLP，根据说明其训练的语料比较多，载入了很多实体库，通过测试在实体边界的识别上有一定的优势...
NLP基础实验③：中文分词-jieba
IOT_victor的博客
05-14 851
中文分词有很多种，常见的比如有中科院计算所 NLPIR、哈工大 LTP、清华大学 THULAC 、斯坦福分词器、Hanlp 分词器、jieba 分词、IKAnalyzer 等。 jiaba 官方：https://github.com/fxsjy/jieba 1、分词 三种分词算法 基于统计词典，构造前缀词典，基于前缀词典对句子进行切分，得到所有切分可能，根据切分位置，构造一个有向无环图...
python结巴分词的缺点_Python 结巴分词
weixin_39914825的博客
11-30 766
今天的任务是对txt文本进行分词，有幸了解到"结巴"中文分词，其愿景是做最好的Python中文分词组件。有兴趣的朋友请点这里。jieba支持三种分词模式：＊精确模式，试图将句子最精确地切开，适合文本分析；＊全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；＊搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。主要采用以下算法：＊基于Tr...
jieba导入自定义词库，特殊字符不分割，识别词性
hforever99的博客
10-25 2113
导入自定义词库，特殊字符不分割，识别词性。
jieba分词年月日
08-12
jieba分词库不提供直接分词出年月日的功能。但是，你可以根据分词结果中的词语进行处理和判断，以提取出年月日信息。例如，你可以使用正则表达式或其他方法来匹配包含年、月、日的词语，并将其组合在一起形成日期。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [python --jieba 分词](https://blog.csdn.net/weixin_62816287/article/details/124024859)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [街霸对决：2021年1月14日更新维护公告](https://blog.csdn.net/weixin_28754365/article/details/119293005)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值