数据挖掘（一）——齐夫定律，停用词与词干提取

最新推荐文章于 2025-01-30 20:42:30 发布
最新推荐文章于 2025-01-30 20:42:30 发布
阅读量1.4k 收藏 1
点赞数
分类专栏： DataMining 文章标签： 数据挖掘 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44177517/article/details/122295358
版权
本文介绍了数据挖掘中重要的概念，包括齐夫定律，它描述了词频与排名的反比关系。接着讨论了停用词，这些常见但对理解文章主题帮助不大的词汇在预处理阶段会被剔除。最后，提到了词干提取，通过去除词缀以简化词汇，便于数据处理和检索。了解这些基础知识对于有效进行文本挖掘至关重要。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

数据挖掘（一）——齐夫定律，停用词与词干提取


一、齐夫定律

齐夫定律是由哈佛大学的语言学家乔治·金斯利·齐夫于1949年发表的实验定律。它可以表述为：在自然语言的语料库里，一个单词出现的频率与它在频率表里的排名成反比。

齐夫定律公式：（r为词频排序顺序，F为词频）
F ( r ) = C r α , 其 中 α ≈ 1 , C ≈

最低0.47元/天 解锁文章
python提取停用词_python进行分词、去停用词和统计词频
weixin_39882271的博客
11-24 1043
数据的下载链接：链接：https://pan.baidu.com/s/1IyOJfpCu4HRqCmTrVI7b8Q 密码：52u7 import jieba #用jieba库进行分词#读取数据text = open('Walden.txt','r',encoding='utf-8').read()len(text)#全部字符变成小写字符text = text.lower()#读取停用词，创...
机器学习，数据分析中文停用词
01-20
中文停用词，可用于词频统计，分词等去杂。 如：无意义的：的 一 不 在 人 有 是 为 以 于 怎么 任何 连同 开外 再有 哪些 甚至于 又及 当然 就是 遵照 以来 赖以 否则
齐夫定律
qq_41786778的博客
04-09 429
http://www.360doc.com/content/17/0613/23/40101294_662818990.shtml https://blog.csdn.net/kevinelstri/article/details/52685934 https://blog.csdn.net/Eastmount/article/details/65443025
齐夫定律， Zipf's law，Zipfian distribution
weixin_30258901的博客
11-19 1458
齐夫定律（英语：Zipf's law，IPA英语发音：/ˈzɪf/）是由哈佛大学的语言学家乔治·金斯利·齐夫（George Kingsley Zipf）于1949年发表的实验定律。 它可以表述为： 在自然语言的语料库里，一个单词出现的频率与它在频率表里的排名成反比。 所以，频率最高的单词出现的频率大约是出现频率第二位的单词的2倍， 而出现频率第二位的单词则是出现频率第四位的单词的...
数据分析中最全停用词之stopword
03-17
该文档内有已经总结好的所有常见停用词，适用于数据分析、数据挖掘方面，尤其是分析用户情感、拆分用户评论、商品评价等方面，对于去除数据的冗余性有很大的作用，可与jieba库一起使用
文本数据分析：删除停用词
zy1992As的博客
12-21 1927
删除停用词常用的方法有词表匹配法、词频阈值法和权重阈值法，NLTK库所采用的就是词表匹配法，它里面有一个标准的停用词列表，在使用之前要确保已经下载了stopwords语料库，并且用import语句导入stopwords模块，示例代码如下。停用词的存在直接增加了文本的特征难度，提高了文本数据分析过程中的成本，如果直接用包含大量停用词的文本作为分析对象，则还有可能会导致数据分析的结果存在较大偏差，通常在处理过程中将它们从文本中删除，如图8-4所示。图8-4 删除停用词示例。
python提取停用词_使用python进行文本预处理和提取特征的实例
weixin_39779975的博客
11-24 408
如下所示：文本过滤result = re.sub(r'[^\u4e00-\u9fa5,。？！，、；：“ ”‘ '（ ）《 》〈 〉]', "", content)#只保留中文和标点result = re.sub(r'[^\u4e00-\u9fa5]', "",content)#只保留中文result = re.sub(r'[^\0-9\.\u4e00-\u9fa5,。？！，、；：“ ”‘ '（ ）...
中文停用词 数据挖掘
06-08
中文停用词表，内容比较全面，停用词总数超过一万个，可以对文本挖掘中的停用词库进行补充
【停用词】NLP中的停用词怎么获取？我整理了6种方法
马哥的专栏
07-08 4261
马哥原创：6种获取停用词的方法
zipf定律 齐普夫定律
Dzwfvz的博客
05-25 2154
一个单词出现的频率与它在频率表里的排名成反比。 齐普夫定律（Zipf’s Law）：一个词在一个有相当长度的语篇中的等级序号（该词在按出现次数排列的 词表中的位置，他称之为rank，简称r）与该词的出现次数（他称为frequency，简称f）的乘积几乎是一个常数（constant，简称C）。 用公式表示，就是 r × f = C 。（此处的C一般认为取0.1） ...
文本分类之词频统计（分词、词干提取、去停用词、计算词频，有界面）
05-12
主要是读取文本，然后进行分词、词干提取、去停用词、计算词频，有界面，很实用
齐普夫定律的验证-----Python实现（北航研究生自然语言处理课程作业）
weixin_38314447的博客
04-02 4282
本次作业采用的数据集是1956年至1960年的人民日报数据集。数据集链接：https://pan.baidu.com/s/12TRzzev7XhwY4ph1cKIYpw  密码：3g7v齐普夫定律验证齐普夫定律是美国学者G.K.齐普夫于20世纪40年代提出的词频分布定律。它可以表述为：如果把一篇较长文章中每个词出现的频次统计起来，按照高频词在前、低频词在后的递减顺序排列，并用自然数给这些词编上等级...
齐普夫定律学习笔记
热门推荐
Together_CZ的博客
04-05 1万+
齐普夫定律: 齐普夫定律是美国学者G.K.齐普夫于20世纪40年代提出的词频分布定律。它可以表述为：如果把一篇较长文章中每个词出现的频次统计起来，按照高频词在前、低频词在后的递减顺序排列，并用自然数给这些词编上等级序号，即频次最高的词等级为1，频次次之的等级为2，……，频次最小的词等级为D。若用f表示频次，r表示等级序号，则有fr=C(C为常数)。人们称该式为齐普夫定律。 关于单词在文献中出现
zipf定律，二八定律，流行度，点击率均可使用
wang_409的博客
12-11 1173
一级目录 二级目录 三级目录 链接: lhttps://download.csdn.net/download/wang123456___/13619335.
齐普夫定律（Zipf‘s Law）
最新发布
彬彬侠的博客
01-30 2015
齐普夫定律（Zipf’s Law）是一种经验法则，描述了单词频率分布在自然语言中的规律。齐普夫定律（Zipf’s Law）描述了自然语言文本中的单词频率与排名的幂律关系。数学关系：词频f与排名r之间的关系为f∝1/r s。应用场景：NLP任务（文本分析、词向量建模）；信息检索（搜索引擎、TF-IDF）；文本压缩（高效存储）。Zipf’s Law的Python实现：统计单词频率、绘制对数分布曲线，并拟合幂律函数。
python提取停用词_python文本处理 数据挖掘 停用词检索
weixin_39540744的博客
11-20 854
简单描述程序功能：python+flask1.停用词为csv文件2.源文件为txt文件3.文本处理，将原文件中出现的停用词去除4.根据用户web 表单输入，检索出包含用户输入参数的句子代码实现：1.文件读取，分词，源文件词频统计python 读取 西班牙语文本编码： encoding='ISO-8859-1'1 #csv 文件读取，此处编码为西班牙语2 defcsvfile():3 fil...
python去停用词-python使用jieba实现中文分词去停用词方法示例
weixin_39790510的博客
11-11 3839
前言jieba 基于Python的中文分词工具，安装使用非常方便，直接pip即可，2/3都可以，功能强悍，十分推荐。中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词模块jieba，它是python比较好用的分词模块。待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建议直接输入 GBK 字符串，可能...
自然语言处理（NLP)——使用NLTK包验证齐夫定律及使用wordnet
bensonrachel的博客
05-17 2081
第一题，利用大文本验证“齐夫定律”的正确性，首先我们使用pycharm作为集成开发环境，python3.5+nltk来做实验。 齐夫定律：齐夫定律（英语：Zipf's law）是由哈佛大学的语言学家乔治·金斯利·齐夫（George Kingsley Zipf）于1...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值