Jieba分词并去停用词

已于 2023-04-12 15:00:52 修改
阅读量1.1w 收藏 85
点赞数 14
分类专栏： # NLP # 机器学习 机器学习|深度学习|自然语言处理 文章标签： python 开发语言
于 2021-11-19 23:04:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43734080/article/details/121432656
版权
本文介绍了Jieba库的使用，包括分词的四种模式、自定义词典加载、词频统计，以及如何进行词性分析和关键词提取，特别是基于TF-IDF和TextRank算法的关键词提取方法。
摘要由CSDN通过智能技术生成

目录

一、Jieba简介

二、Jieba使用规则

2.1 Jieba分词的四种模式

2.2 Jieba库的一般函数

三、 Jieba分词的用法

3.1 不加载自定义词典

3.2 加载自定义词典

3.3 词频统计

四、词性分析

4.1 词性列表 

4.2 词性分析

五、关键词提取

5.1 基于TF-IDF算法的关键词提取 

5.2 基于TextRank算法的关键词提取 

一、Jieba简介

Jieaba库，顾名思义，谐音“结巴”，结巴说话的时候是一个词一个词的从嘴里蹦出来，而Jieba分词的主要作用就是分词，当前它还延申出其他作用，如：简体/繁体分词、自定义词典、关键词提取、词性标注。

二、Jieba使用规则

2.1 Jieba分词的四种模式

分词模式 实现效果
精确模式 把一段文本精确地切分成若干个中文单词&#x
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Dr.Petrichor
关注
  • 14
    点赞
  • 踩
  • 85
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 11
    评论
专栏目录
订阅专栏
文本分析-使用jieba库进行中文分词和去除停用词（附案例实战）
m0_64336780的博客
06-05 3万+
本文将手把手教会你使用jieba库进行中文分词和去除停用词，这是学会文本分析的必经之路！
jieba分词停止词
NT的博客
06-27 1348
! " # $ % & ' ( ) * + , - -- . .. ... ...... ................... ./ .一 .数 .日 / // 0 1 2 3 4 5 6 7 8 9 Q W E R T Y U I O P A S D F G H J K L Z X C V B N M a b c d e f g h i g k l m n o p q r s t u...
结巴jieba分词中文分词停用词表2000条数据
08-03
结巴中文分词停用表，整合百度分词、哈工大等停用词表2000余条数据 即拿即用，效果好，提升分词速度准确率。
NLTK与jieba的方式分词、去除停用词
最新发布
weixin_51903430的博客
06-19 301
word_list = ana.extract_tags(str(w), topK=10000, withWeight=False) # 去除停用词+词频分析。ana.set_stop_words('C:\job\AI数据集平台工具\数据\逻辑回归停用词.txt') # 输入停用词。nltk 用来处理英文分词、去除停用词，jieba用来处理中文分词、去除停用词。# 获取英文停用词列表，也可以根据需要使用其他语言的停用词列表。# 下载nltk的停用词列表和punkt分词模型。# 输出处理后的文本。
jieba工具包对文件进行简单分词、去停用词
weixin_42167172的博客
07-10 2886
个人认为结巴分词从分词时间及分词效果上都还不错 代码示例 import jieba # 创建停用词列表 def stopwordslist(): stopwords = [line.strip() for line in open('stopwords.txt',encoding='UTF-8').readlines()] return stopwords # 对句子进行中文分...
使用jieba库进行移除停用词
AI_dataloads的博客
09-27 2798
text = "这是一个带有一些停用词的例句，我们想要将它们移除。读入-->分词-->导入停词表-->过滤-->输出。
jieba分词+删除停用词
CandyLa*
06-03 5284
使用jieba对中文文本进行简单的分词并存储操作，详细的分词操作请见：jieba分词的
Python教程95：jieba去掉停用词+词频统计+tokenize分词位置的示例用法
我的Python教程
03-22 2108
4.jieba.tokenize示例用法：返回一个生成器，每次迭代返回一个包含三个元素的元组(word, start, end)，其中 word 是分词结果中的一个词，start 和 end 分别是该词在原始句子中的起始和结束位置（基于字符索引）。通用量词：如“一些”、“很多”、“这个”、“那个”等。代词：如“我”、“你”、“他”、“她”、“它”等。连词：如“和”、“与”、“但是”、“而且”等。介词：如“在”、“到”、“从”、“对于”等。助词：如“的”、“了”、“着”、“过”等。
jieba分词词典和停用词
03-28
利用jieba分词进行文本的处理这里面是jieba分词所需要的词典和停用词
（九）jieba分词后，无法去除停用词的解决方法
HaiYang_Gao的博客
04-25 4180
问题原因：编码问题 1、测试code import chardet if __name__ == '__main__': f = file2file() s = '中国是个好地方，我住在这里。' stopwords = set(sum(f.readtxt('../data/HITstopwords.txt'), [])) # 查看s字符集 s_charse...
python使用jieba实现中文分词去停用词方法示例
12-23
前言 jieba 基于Python的中文分词工具，安装使用非常方便，直接pip即可，2/3都可以，功能强悍，十分推荐。 中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。 分词模块jieba，它是python比较好用的分词模块。待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建议直接输入 GBK 字符串，可能无法预料地错误解码成 UTF-8 支持三种分词模式       1 精确模式，试图将句子最精确地切开，适合文本分析；       2 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快
结巴分词、词性标注以及停用词过滤
10-31
因为比赛需要用到结巴分词，所以写了一个关于结巴分词、词性标注以及停用词过滤的python程序。
jieba分词详解和实践
01-20
本文将深入解析jieba分词的工作原理，并通过实例探讨其在实践中的应用。 首先，我们要理解中文分词的基本概念。中文分词是中文文本处理的基础步骤，它是指将连续的汉字序列切分成具有独立意义的词语。这是因为中文...
少年街霸游戏程序
10-29
《少年街霸游戏程序》是一款深受玩家喜爱的经典游戏，它承载了无数人的童年记忆。这款游戏在当时的街机市场上占据了重要地位，以其独特的角色设计、刺激的格斗体验和丰富的游戏模式吸引了众多玩家。 《少年街霸》的...
Lowpoly风街霸角色布兰卡（Blanka）Blender源文件
11-03
Lowpoly风街霸角色布兰卡（Blanka）Blender源文件 老王的原创教程见《手把手带你Godot游戏开发 第二弹】名场面临摹 之 街霸3D》 https://orzgame.blog.csdn.net/article/details/109402316
python --jieba 分词
weixin_62816287的博客
04-07 6126
jieba库是什么 jieba库中文分词第三方库，中文文本需要通过分词获得单个的词语。 jieba库的原理：利用中文字库，确定汉字之间的关联概率，汉字件概率大的组成词组，形成分词结果，还可以添加自定义的词组。 jieba库的使用 jieba库分词有3种 1.精确模式：一段文本精确地切分成若干个中文单词，若干个中文单词经过组合，精确还原原先地文本，不存在冗余单词。 2.全模式：一段文本种所有可能出现地词语都扫描出来，一段文本从不同地角度切分成不同地词语，分词后地信息组合会有冗余，不在是原来的文本。
少年街霸图标下载
12-25
《少年街霸》图标中常使用鲜明对比的颜色，如红色代表力量和激情，蓝色代表冷静和技术，这些颜色选择有助于强化角色的性格特征，并在视觉上吸引玩家的注意力。 除此之外，图标还需要考虑到跨平台的兼容性，例如在PC...
利用python—jieba包进行分词和移除停用词
weixin_40405982的博客
12-19 1万+
利用python—jieba包进行分词和移除停用词 用python-jieba包进行分词和移除停用词只做了最基础的学习，不知道是这一部分本来就比较简单还是我学习的都是最基础部分，总之学习路上过于顺利了，下面我将介绍在这一部分中学习到的知识。。。。。。 首先：在pycharm中直接安装jieba包，然后新建python file即可实现下列代码 1.分词 ①基础部分：我大致了解了下面3种分词模式但是...
[Python3] 简单的jieba分词以及停用词去除
热门推荐
Takio的博客
02-12 3万+
本文主要为【爬取百度搜索内容页广告均数】提供关键词文件，主要做输入文件的分词功能，并写入key_word.txt文件，以供下一模块使用。 https://blog.csdn.net/qq_36791314/article/details/86724025 函数功能主要为调用简单的jiaba分词（stripdata函数）并进行停用词去除（stripword函数） main函数为creat()，可...
jieba分词年月日
08-12
jieba分词库不提供直接分词出年月日的功能。但是，你可以根据分词结果中的词语进行处理和判断，以提取出年月日信息。例如，你可以使用正则表达式或其他方法来匹配包含年、月、日的词语，并将其组合在一起形成日期。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [python --jieba 分词](https://blog.csdn.net/weixin_62816287/article/details/124024859)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [街霸对决：2021年1月14日更新维护公告](https://blog.csdn.net/weixin_28754365/article/details/119293005)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Dr.Petrichor

作者逐个题目分析的噢

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值