Python程序设计之词频统计

已于 2024-04-04 22:36:58 修改
阅读量2k 收藏 13
点赞数 3
文章标签： pycharm ide python
于 2022-05-13 22:09:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48144018/article/details/124760529
版权

       前文链接：

目录

作业要求

设计思路

运行结果

 最后代码附上

作业要求

  • 选择一部长度合适的小说，中文、英文或其他语种皆可，长度不低于5万字。
  • 首先对文本进行词（字）频统计，中文可以进行分词统计词频，或不分词统计字频，英文要求统计词频并考虑词语的大小写等价性。
  • 按照词频顺序列出所有的词及其出现次数；
  • 绘制排序-数量曲线，验证Zipf-Law（可以用第三方软件绘图）。
  • 利用正则表达式查找文件中的某种特定模式，对这种模式进行提取分析。要求提取出的内容有一定的复杂性（多种匹配结果），提取的数量不低于20个。

设计思路

  • 首先我一开始选择了小说《三体》，但是全集字数过多（接近百万字），于是只选择了《三体Ⅱ·黑暗森林》的部分，但是字数依旧不少（三四十万字），但相对来说长度已经比较合适。
  • 首先对小说文本进行词频统计，
最低0.47元/天 解锁文章
LeeYotta
关注
  • 3
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
文本分析-使用Python做词频统计分析_python词频统计
2301_82257730的博客
04-10 797
词频统计是指在文本或语音数据中，统计每个单词或符号出现的次数，以便对文本或语音数据进行分析和预处理。在词频统计中，通常将文本或语音数据转换成单词或符号的形式，然后统计每个单词或符号出现的次数，并将其存储为一个数据集或字典。使用Counter函数对前面的分词结果进行统计，然后使用most_common输出按词频频次降序排列的结果，如果你只想输出前n个单词，传入数值即可。总之，词频统计是自然语言处理中的一个重要任务，其目的是为后续的文本分析、情感分析、机器翻译等任务做好准备。最后将词频统计的结果保存为文件。
Python统计词频的几种方法
一个大三的python爱好者
02-20 1万+
本文介绍python统计词频的几种方法，供大家参考
Python词频统计
最新发布
youyouxiong的博客
05-03 656
如果你需要更复杂的文本处理，比如去除停用词（stop words），可以使用。方法可以返回一个包含单词及其对应频率的列表，按照频率从高到低排序。方法将所有文本转换为小写，以保证词频统计时不区分大小写。确保我们已经下载了所需的分词和停用词数据集。方法用于将文本分割成单词列表，然后我们使用。函数进行分词，然后去除停用词，并再次使用。以下是一个简单的Python脚本，使用。在这个脚本中，我们首先使用正则表达式。来移除文本中的标点符号，然后使用。来统计每个单词出现的次数。在这个例子中，我们首先使用。
Python实现 文本词频统计（嵩天老师）
m0_61903191的博客
04-02 8348
实例10：文本词频统计 引用文本 英文文本：Hamet https://python123.io/resources/pye/hamlet.txt 中文文本：《三国演义》 https://python123.io/resources/pye/threekingdoms.txt
【干货】Python：中英文词频统计
大家好，欢迎来到鱼尾的博客！
08-25 1万+
Python中英文词频统计
Python实现词频统计的两种方法
文程序公子的博客
05-23 7219
词频统计是指在文本中计算每个单词出现的次数，是文本处理中一个最基本的任务。在Python中，可以使用多种方法实现词频统计，包括使用字典、列表、Counter类等数据结构。
Python读取文件进行中文词频统计
weixin_40547993的博客
04-10 1万+
第一种情况：利用Counter函数进行词频统计，比较简洁，代码如下：数据：movie_comments.csv文件为23万的影评数据 结果： 第二种情况：但是如是大批量语料，电脑配置不好的，建议先预处理保存到本地，再去统计词频，代码如下：先预处理保存到本地： 再进行分词、词频统计： 结果同上。1、读取文件2、分词，加载自定义词典，去数字，去停用词3、统计词频并排序代码如下： 结果： 三部曲：读取文件、文件清洗与分词、统计词频 读取的
python程序设计实践教程张莉答案-Python程序设计（2018年春）.pdf
06-12
《Python程序设计实践教程》是张莉教授为非计算机专业学生设计的一门综合教程，旨在帮助初学者理解和掌握Python编程语言。课程不仅关注技术层面，更注重将Python应用于实际问题解决，尤其在财经数据处理、人文社科...
基于python实现小说词频统计附项目源码分享
06-28
Python 的官方定义：Python 是一种解释型的、面向对象的、带有动态语义的高级程序设计语言。通俗来讲，Python 是一种少有的、既简单又功能强大的编程语言，它注重的是如何解决问题而不是编程语言的语法和结构。 2....
python简单易懂英文词频词汇统计
12-21
这个简单的词频统计程序展示了 Python 处理文本数据的基本步骤，包括文件读取、字符串处理、数据结构的运用以及排序输出。在实际的文本分析任务中，可能还需要进行更复杂的预处理，例如去除停用词、词形还原等，以...
Python程序设计：Python字符串（案例）.pptx
06-12
在Python程序设计中，字符串是数据类型的基本组成部分，它在各种场景中有着广泛的应用，比如文本处理、数据分析等。在上述的"三国演义 词频统计"案例中，我们学习了如何利用Python来实现对特定字符串的计数和定位。 ...
Python实例10：文本词频统计
LuckSugar
08-06 6068
Python实例10：文本词频统计 6.6.1 问题分析 在英文中文中，出现哪些词，出现多少次？ 6.6.2 hamlet英文词频统计 CalHamletV1.py 6.6.3 三国演义人物出场统计 CalThreeKingdomsV1.py CalThreeKingdomsV2.py # CalHamletV1.py def getText(): #获取文本，归一化处理文本 txt = open("E:\python\learn\hamlet.txt","r").read()
Python字典简单实现词频统计
Pandas_007的博客
10-31 7135
需要统计一本小说中某个人（主角）名字，或者某个关键词在文章中出现的次数，由于字数太多我们不可能人为的慢慢去计数，这时我们可以根据程序来自动获得其次数。首先对文中进行分词->对每个词建立键->以此遍历每个词->如果字典中有该词->则其值+1否则设为1并创建该词的键。根据字典的性质，以此关键词或人名作为字典的键，出现次数作为其字典的值。思路：如果该单词已经在字典中存在（键存在）则对应的键加一。如果该单词不存在，则创建键并值设置为1。用于后续记录各单词的频次。Python实现英文词频统计。简单高效实用字典几行代码
Python词频分析词云
m0_65077254的博客
12-14 401
Python词频分析词云
python学习笔记3-使用python对txt文本进行词频统计
September_nine的博客
07-26 1万+
1.下载安装jieba库 利用镜像下载安装 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple jieba 2.jieba库作用与功能概述 jieba库利用中文词库，对中文文本，通过分词，获得单个的词语
【作业】python——小说Walden的词频统计，并从高到低排序
iHUQAQ的博客
11-17 3034
本文章环境为Pychram-python3.8 一·确定文件位置 确定Walden.txt文件位置 例如： 将Walden.txt与py代码文件放至同一文件夹 二·逐步前进 1. 打开文件 f=open('Walden.txt','r',encoding='utf-8') 因为直接放在同一文件夹，文件路径为Walden.txt。若非同一文件夹，可以右键Walden.txt选择属性： 如上图，放在桌面上的Walden.txt文件的属性显示位置为C:\Users\iHU\Desktop 'r’为读文本，从
python词频统计并按词频排序
热门推荐
Tao_Shimmer的博客
11-07 1万+
python词频统计 这篇博客用来记录一下自己学习用python做词频统计的过程 #一、英文词频统计，所用文本《THE CATCHER IN THE RYE 》(麦田里的守望者） 涉及的第三方库及其在程序中的用途如下: import string #去除英文标点符号 from nltk.corpus import stopwords #去掉一些停用词 这里说下停用词，所谓停用词，多是一些出现频繁但实际意义不大或是对文本分析帮助不大的词汇，如英文里的a,an,that 中文里的“的”、“是”等词，下面是
python统计词频
diaoren6730的博客
10-05 241
一、程序分析 （1）将文件读入缓冲区（dst指文本文件存放路径，设置成形参，也可以不设，具体到函数里设置） def process_file(dst): # 读文件到缓冲区 try: # 打开文件 txt=open(dst,"r") except IOError as s: print s ...
Python：词频统计(全)
Argonaut_的博客
02-26 1236
# 中文 txt = input("请输入一段文本:") d = {} for i in txt: d[i] = d.get(i, 0) + 1 # 字典中的值 ls = list(d.items()) ls.sort(key=lambda x: x[1], reverse=True) # 排序 for i in range(len(d)): word, count = ls[i] print("{:<10}{:<5}".format(word, count))
基于词频统计的中文分词系统的设计与实现Python程序
12-18
以下是基于词频统计的中文分词系统的设计与实现Python程序的示例： ```python import jieba from collections import Counter # 文本数据 text = "今天天气真好，我想出去玩。" # 使用jieba进行分词 seg_list = jieba.cut(text, cut_all=False) # 统计词频 word_counts = Counter(seg_list) # 输出词频统计结果 for word, count in word_counts.most_common(): print(word, count) ``` 这段代码首先使用jieba对文本进行分词，然后利用Python的collections模块中的Counter类统计词频，最后输出词频统计结果。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

LeeYotta

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值