Python小题目11：利用jieba库统计小说内每章节的高频词

最新推荐文章于 2024-04-24 11:57:57 发布
VIP文章 最新推荐文章于 2024-04-24 11:57:57 发布
阅读量1.5k 收藏 13
点赞数 2
分类专栏： python初学小题目 文章标签： python 机器学习 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_64660514/article/details/121719155
版权

拿出小说《八十天环游地球》举例

要求一：提取章节题目并输出到文件

要求二：统计每章节的高频词并打印输出


前言

本题目是统计词频的高阶应用，要求分开章节并统计每一个章节的高频词

一、思路

在本题中的难点在于如何去对每个章节的内容进行截取，然后统计词频。

利用空列表存储章节开头行的地址，通过索引截取第一开头行和下一个开头行之间的内容。


二、使用步骤


1.提取章节题目并输出到文件

代码如下（示例）：

f = open("八十天环游地球.txt",
最低0.47元/天 解锁文章
一个兴趣使然的程序猿罢了
关注
  • 2
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
计算机二级python题库-基本操作题之jieba分词.zip
03-24
计算机二级python题库 计算机二级python题库_基本操作题之jieba分词
如何使用Python进行地址信息(省/市/区/姓名/电话)提取
湖北太米网络科技有限公司
12-20 1458
地址信息提取是一种技术，它可以帮助我们从文本、图像或其他来源中提取出有关地址的信息。这种技术的背景和目的是为了解决人们在日常生活和工作中经常遇到的地址相关问题。无论是在线购物、导航应用还是物流管理，都需要获取准确的地址信息。​地址信息提取的背景源于数字化时代的快速发展。随着互联网的普及和移动设备的智能化，大量的地址信息在各种平台和应用中被广泛使用。然而，由于地址信息的多样性和复杂性，手动提取和处理这些信息变得困难和耗时。因此，我们需要一种自动化的方法来从大量的文本和图像中提取出准确的地址信息。​。
八十天环游地球
m15600465900的博客
02-13 570
文本文件“八十天环游地球.txt”是法国作家儒勒. 凡尔纳《八十天环游地球》长篇小说的网络版本，请修改源文件实现以下功能。‪‬‪‬‪‬‪‬‪‬‮‬‫‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‮‬ 问题1:提取章节题目并输出到文件。‪‬‪‬‪‬‪‬‪‬‮‬‫‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‫‬‪
Python 文本处理 (1.导出书籍目录 2.统计每一章节频度最高的词)
weixin_45758110的博客
12-22 824
文本处理 待处理文本链接 # -*- coding: utf-8 -*- """ Spyder Editor This is a temporary script file. """ import re f=open('d:/八十天环游地球.txt','r') f2=open('d:/八十天环游地球new.txt','w') f3=open('d:/八十天环游地球-章节.txt','w') for i in f: i=i.rstrip() #去掉右端空格 i=re.sub('&l
使用python进行字频统计和词频统计
qq_48068259的博客
11-01 7759
使用两种方法对给定的数据进行词频和字频统计，过程中会使用jieba进行分词以及使用停用词表和正则匹配进行数据清洗
Python：计算机等级考试真题之八十天环游地球代码
炒茄子的博客
12-02 1069
这一题我觉得有一点难，所以写一下代码巩固。
【python二级】八十天环游世界
weixin_64399725的博客
05-27 1308
题目描述 附件中保存1个文本文件，分别对应2个问题‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬ 其中，文本文件“八十天环游地球txt”是法国作家儒勒. 凡尔纳《八十天环游地球》长篇小说的网络版本，请修改源文件实现以下功能。‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪
【计算机二级python】综合题题目
guanguan12319的博客
03-03 1845
【计算机二级python】综合题题目
利用jieba库进行词频统计
算法与编程之美
06-12 3359
0 引言在读一篇文章和读一本经典名著时，我们常常想统计出来每个词汇出现的次数及该词汇的出现频率，其实我们可以利用Python中的第三方库jieba库来实现。1 问题通过对一篇文章和一本书中的词频统计，我们可以知道什么事物或是谁在该文章或该著作作者用了更多的文笔来提到和描述它，2 方法encoding=’ANSI’:将打开的文本格式设为ANSI形式read(size):方法...
统计一段文本中每个单词出现的次数（以单词为键，单词出现的次数为值）
king123t的博客
03-14 1745
现有一段字符串，如下： * * wo ai heima wo ai java wo yao hao hao xue xi java * * 单词间以空格分隔， * * 程序要求如下： * * 1、统计这段文本中每个单词出现的次数 * * 2、把单词作为键，出现次数作为值存到集合中 * * 3、按照键的自然顺序输出。 * * 4、把单词和单词出现的次数按照题目要求格式打印 * * 输出格式如下： * * ai(2)hao(2)heima(1)java(2)wo(3)xi(
python同义词替换的实现（jieba分词）
12-30
注意：同一行的词用单个空格隔开，每行第一个词为同行词的替换词。 年休假 年假 年休 究竟 到底 回家场景 我回来了 代码 import jieba def replaceSynonymWords(string1): # 1读取同义词表，并生成一个字典。 ...
利用python对论文进行相似度比较（jieba库的应用）
06-07
使用jieba库对论文进行相似度的比较以对其进行分类。 源码为001.py，003.py，004.py三个文件，其中001.py负责将原文转为utf-8格式，用户直接运行即可，003.py可以将训练集中的论文进行分词——这一步就要用到jieba库...
python jieba分词并统计词频后输出结果到Excel和txt文档方法
09-20
本篇文章主要介绍了python jieba分词并统计词频后输出结果到Excel和txt文档方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
Ansible 指定受控端使用Python的版本
shijin741231的博客
04-20 554
最近在装Ansible，有一台受控端Ubuntu16的服务器，安装了Python2.7.12和Pyhon3.5。当用Ansible连接它时，显示使用的是Python3.5。最后看文档，发现Ansible可以在hosts的文件中指定受控服上运行的Python。
【编译程序介绍】
武帝为此的博客
04-22 1165
简单来说，编译程序是一个软件，它读取用某种编程语言编写的源代码，分析并转换成等效的、可执行的机器语言代码。这个过程涉及多个复杂的步骤，包括语法分析、语义分析、代码优化和代码生成等。
【算法设计与分析】最近点对问题蛮力法破解及可视化绘图显示
FellAveal的博客
04-20 1120
难点在于多线程的学习以及可视化的操作，由于对Python的多线程不熟悉，多少也走了一些弯路。其中关键部分是通过线程间通讯传递所要可视化展示的点和连线。本文针对本课程内容上机实验一进行预习，通过python的matplotlib库提供一个可能的可视化显示代码运算的方式。（很明显是因为Python画图方便才使用的，算法还是建议用C/C++来进行实现）蛮力法的代码实现很简单，遍历数对，找到最近的点。文尽于此，本文使用Markdown编辑。由于之前便已经发觉到了。Python画图的优势。正在计算的两个点的序号。
实现自定义注解、实现自定义幂等性注解
qq_44721738的博客
04-23 488
添加 Spring AOP 依赖。创建自定义注解。创建一个新的 Java 注解类，通过@interface关键字来定义，并可以添加元注解以及属性。@Target(ElementType.METHOD) //表示作用于方法上@Retention(RetentionPolicy.RUNTIME) // 表示这个注解在运行时是可见的，这样 AOP 代理才能在运行时读取到这个注解编写 AOP 拦截（自定义注解）的逻辑代码。@Aspect@Component// 方法执行前的处理。
Pandas 2.2 中文官方教程和指南（十五）
最新发布
龙哥盟
04-24 695
原文：pandas.pydata.org/docs/ 处理文本数据 原文：pandas.pydata.org/docs/user_guide/text.html 文本数据类型 在 pandas 中有两种存储文本数据的方式： object -dtype NumPy 数组。 StringDtype 扩展类型。 我们建议使用StringDtype来存储文本数据。 在 pandas 1.0 之前，object dtype 是唯一的选项。这在很多方面都是不幸的： 你可能会在object dty
读取 data.txt 文件并借助 jieba 库实现词频统计， 将出现频率最高的 10 个词输出
05-26
好的，我可以帮你实现这个功能。首先需要安装`jieba`库，可以使用以下命令进行安装： ``` pip install jieba ``` 然后我们可以编写以下代码读取`data.txt`文件并进行词频统计： ```python import jieba # 读取文件内容 with open('data.txt', 'r', encoding='utf-8') as f: content = f.read() # 进行分词 words = jieba.cut(content) # 统计词频 word_count = {} for word in words: if len(word) > 1: # 只统计长度大于1的词 if word in word_count: word_count[word] += 1 else: word_count[word] = 1 # 输出出现频率最高的前10个词 top_words = sorted(word_count.items(), key=lambda x: x[1], reverse=True)[:10] for word, count in top_words: print(word, count) ``` 以上代码首先使用`open()`函数读取`data.txt`文件的内容，然后使用`jieba.cut()`函数对内容进行分词。接着使用一个字典`word_count`统计每个词出现的次数，最后使用`sorted()`函数对字典进行排序，输出出现频率最高的前10个词。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一个兴趣使然的程序猿罢了

有钱的捧个人场，没钱的想想办法

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值