jieba分词的停用词问题

最新推荐文章于 2024-07-25 19:25:13 发布
最新推荐文章于 2024-07-25 19:25:13 发布
阅读量6.8k 收藏 20
点赞数 8
分类专栏： PYTHON 文章标签： jieba 停用词
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/younger821/article/details/104041274
版权

去掉停用词一般要自己写个去除的函数(def....)，一般的思想是先分好词，然后看看分的词在不在停用词表中，在就remove，最后呈现的结果就是去掉停用词的分词结果。

后来找到一个jieba.analyse.set_stop_words(filename)，以为可以直接设置一下停用词文件分词时就自动给我去除了，没想到分词的结果根本没有任何改变！

找了半天资料，又看了下jieba包里analyse文件夹里的各py文件，发现这个是为了作关键词提取用的，也就是：

用jieba.analyse.extract_tags时，设置jieba.analyse.set_stop_words才有用！
用jieba.lcut时，设置jieba.analyse.set_stop_words根本没有用！

比较了一下二者的最后结果，关键词提取的结果是简洁明了而且囊括了不少关键词，但是还是有些词没有包括进来，所以，如果想去除停用词+较为全面的分词结果，还是老老实实的自己写方法吧！

最后再附上比较全的一个停用词表：

https://github.com/goto456/stopwords

小茶子
关注
专栏目录
文本分析-使用jieba库进行中文分词和去除停用词（附案例实战）
m0_64336780的博客
06-05 3万+
本文将手把手教会你使用jieba库进行中文分词和去除停用词，这是学会文本分析的必经之路！
python去停用词-python使用jieba实现中文分词去停用词方法示例
weixin_39790510的博客
11-11 3722
前言jieba 基于Python的中文分词工具，安装使用非常方便，直接pip即可，2/3都可以，功能强悍，十分推荐。中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词模块jieba，它是python比较好用的分词模块。待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建议直接输入 GBK 字符串，可能...
python机器学习8--自然语言处理（2）
最新发布
m0_63860007的博客
07-25 361
次数的统计）在很多情况下，有一些文章内的英文字符、标点符号分词的结果不符合自己的预期，会出现一些不想要的分词，此时就能通过以下的函数自己设定用词，并且删除。因为jieba对每一个字会给出IDF分数比重，但是在很多时候，会希望把文章中特别的关键字突显出来（或者降低），可以设定IDF分数高一些（或低一些），就能将想要的字突显出来（或者降低）。一个demo次数的统计）
jieba分词词典和停用词
03-28
利用jieba分词进行文本的处理这里面是jieba分词所需要的词典和停用词
jieba 停用词表_使用 jieba 对文本进行分词
weixin_39625975的博客
12-03 8784
现在项目上有个需求：对根本原因进行预测。也就是说，给定根本原因以及其所对应的标签，通过机器学习算法对以后输入的根本原因进行自动化归类(或者说智能提示当前输入的根本原因属于哪个类别的)图1.数据库中的格式我想既然需要用到机器学习，肯定需要将数据清洗。所以第一步我先把根本原因字段进行分词处理，然后再将分好的词对应的类别转换成机器学习所需的格式，进行训练、预测处理。So 今天先把“根本原因”字段进行分词...
jieba工具包对文件进行简单分词、去停用词
weixin_42167172的博客
07-10 2906
个人认为结巴分词从分词时间及分词效果上都还不错 代码示例 import jieba # 创建停用词列表 def stopwordslist(): stopwords = [line.strip() for line in open('stopwords.txt',encoding='UTF-8').readlines()] return stopwords # 对句子进行中文分...
结巴jieba分词中文分词停用词表2000条数据
08-03
结巴中文分词停用表，整合百度分词、哈工大等停用词表2000余条数据 即拿即用，效果好，提升分词速度准确率。
jieba分词、停用词
胡梦佳
12-01 2425
jieba文本分词，去除停用词，添加用户词 NLP自然语言处理（一）——jieba分词（R vs. python）
jieba分词详解和实践
01-20
同时，jieba还提供了混合模式和全模式，分别增加了基于HMM（ Hidden Markov Model，隐马尔科夫模型）的概率分词和允许未登录词（不在词典中的词）的识别，以适应不同场景的需求。 接着，我们讨论TF-IDF这一重要的...
少年街霸游戏程序
10-29
《少年街霸游戏程序》是一款深受玩家喜爱的经典游戏，它承载了无数人的童年记忆。这款游戏在当时的街机市场上占据了重要地位，以其独特的角色设计、刺激的格斗体验和丰富的游戏模式吸引了众多玩家。 《少年街霸》的...
python --jieba 分词
weixin_62816287的博客
04-07 6281
jieba库是什么 jieba库中文分词第三方库，中文文本需要通过分词获得单个的词语。 jieba库的原理：利用中文字库，确定汉字之间的关联概率，汉字件概率大的组成词组，形成分词结果，还可以添加自定义的词组。 jieba库的使用 jieba库分词有3种 1.精确模式：一段文本精确地切分成若干个中文单词，若干个中文单词经过组合，精确还原原先地文本，不存在冗余单词。 2.全模式：一段文本种所有可能出现地词语都扫描出来，一段文本从不同地角度切分成不同地词语，分词后地信息组合会有冗余，不在是原来的文本。
Lowpoly风街霸角色布兰卡（Blanka）Blender源文件
11-03
Lowpoly风街霸角色布兰卡（Blanka）Blender源文件 老王的原创教程见《手把手带你Godot游戏开发 第二弹】名场面临摹 之 街霸3D》 https://orzgame.blog.csdn.net/article/details/109402316
少年街霸图标下载
12-25
【标题】"少年街霸图标下载"所涉及的知识点主要集中在游戏图标的设计、制作与应用上。《少年街霸》（Street Fighter）是一款经典的动作格斗游戏，其图标设计是品牌形象的重要组成部分，对于吸引玩家、传达游戏风格和...
jieba分词之后去停用词没有效果的问题
TonG_L的博客
05-28 2453
import jieba import re w = '我也遇到这种情况，所以搜到了这个问题，查了很多东西也没有个结果。超话' stopwords = [line.strip() for line in open('stop.txt', 'r', encoding='utf-8').readlines()] def clearTxt(line: str): if (line != ''): # 移除字符串头尾指定的字符（默认为空格或换行符）或字符序列 line =
使用jieba库进行移除停用词
AI_dataloads的博客
09-27 2963
text = "这是一个带有一些停用词的例句，我们想要将它们移除。读入-->分词-->导入停词表-->过滤-->输出。
使用jieba维护自定义词、停用词表
热门推荐
daizongxue的博客
11-23 2万+
对于文本处理来说，好的分词结果，是一切开始的基础。下面结合我的使用，简要说说使用jieba分词，如何添加、删除自定义词，以及使用停用词表，方便自己以后查阅。1 维护自定义词1.1 添加自定义词方法一：import jieba jieba.add_word("自定义词1") jieba.add_word("自定义词2")方法二：方法一需要我们手动一个个添加，当自定义词较多时，我们可以用下面的方法：im
使用jieba库进行中文分词和去除停用词
qq_40107571的博客
01-03 1742
jieba.lcut()和jieba.lcut_for_search()是jieba库中的两个分词函数，它们的功能和参数略有不同。jieba.lcut()方法接受三个参数：需要分词的字符串，是否使用全模式（默认为False）以及是否使用HMM模型（默认为True）。它返回一个列表，其中包含分词后的词语。该方法适合用于普通的文本分词任务。而jieba.lcut_for_search()方法接受两个参数：需要分词的字符串和是否使用HMM模型。
Python教程95：jieba去掉停用词+词频统计+tokenize分词位置的示例用法
我的Python教程
03-22 2212
4.jieba.tokenize示例用法：返回一个生成器，每次迭代返回一个包含三个元素的元组(word, start, end)，其中 word 是分词结果中的一个词，start 和 end 分别是该词在原始句子中的起始和结束位置（基于字符索引）。通用量词：如“一些”、“很多”、“这个”、“那个”等。代词：如“我”、“你”、“他”、“她”、“它”等。连词：如“和”、“与”、“但是”、“而且”等。介词：如“在”、“到”、“从”、“对于”等。助词：如“的”、“了”、“着”、“过”等。
jieba分词+删除停用词
CandyLa*
06-03 5410
使用jieba对中文文本进行简单的分词并存储操作，详细的分词操作请见：jieba分词的
jieba分词年月日
08-12
jieba分词库不提供直接分词出年月日的功能。但是，你可以根据分词结果中的词语进行处理和判断，以提取出年月日信息。例如，你可以使用正则表达式或其他方法来匹配包含年、月、日的词语，并将其组合在一起形成日期。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [python --jieba 分词](https://blog.csdn.net/weixin_62816287/article/details/124024859)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [街霸对决：2021年1月14日更新维护公告](https://blog.csdn.net/weixin_28754365/article/details/119293005)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值