Python利用结巴模块统计《水浒传》词频

最新推荐文章于 2024-05-12 19:16:29 发布
最新推荐文章于 2024-05-12 19:16:29 发布
阅读量1.8k 收藏
点赞数
文章标签： python

中文分词是中文文本处理的一个基础性工作，结巴分词利用进行中文分词。其基本实现原理有三点：

基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG) 
采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合 
对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法 
下面利用结巴分词队水浒传的词频进行了统计

try2035
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
简单的结巴分词与词频统计
zhangmary的博客
06-10 3437
#!/usr/bin/env python # -*- coding: utf-8 -*- import re import sys import jieba import json from collections import Counter reload(sys) sys.setdefaultencoding("utf-8") filename = "rowss.txt" f1 = open...
统计词频和生成词云python程序
01-03
近期因为工作需要，想利用python实现中分词频统计，然后生成图云的小程序。此前完全没有接触过这一块，各种百度后实现最初的需求，这里上传源码，希望能给其他小伙伴一点参考。
Python-[jieba库应用]-统计水浒传中人物出现次数
12-21
最近被线段树一卡，卡的我啥也不会了，也就一个星期没写博客。 正巧女朋友学python，之前也跟着凑凑热闹，正巧最近问了我一个题：如何用jieba库统计水浒传人物出现得次数，并且输出前20名得人物。 想了想直接暴力不久完了，管他多暴力呢 文章目录思路预先处理代码部分运行结果 思路 主要思路：其实就是用jieba库先将文章进行拆分，然后我们创建一个字典，用来统计每个人物出现得次数，当然这里可能就会出现一个问题了，有些不是人名得词语也会被统计上，那怎么办呢？我们可以先将人名输入到一个列表当中，循环记录次数得时候判断人名是否存在在列表当中（我认为很暴力） 预先处理 1. 什么？你要将水浒传所有人名
【python】python水浒传小说文本分析词云可视化（源码+文本+报告）【独一无二】
最新发布
测试开发自动化
05-12 1248
1. 设计要求 1.完成《水浒传》人物姓名词云， 2.生成形状词云主要内容(提纲式的内容要求) > 👉👉👉 源码获取 关注【测试开发自动化】公众号，回复 “水浒” 获取。👈👈👈 2. 总体方案设计 (1)《水浒传》人物姓名词云 (2)完成《水浒传》词频统计及图表 (3)以文中最高频人物图片为形状的词云 3. 详细设计 (1)获取数据源 (2)iieba库将句子解析成词 (3)Wordcloud库将词转化为词云可视化输出
python分析《水浒传》小说，对文本数据内容清洗、分词、统计、词云可视化展示
热门推荐
Together_CZ的博客
05-10 1万+
《水浒传》这个名字说起来估计看到这篇博文的朋友都不会陌生到哪里去，这是我们中国古代四大名著之一，非常的引人入胜，今天想基于《水浒传》的小说数据来做一点分析工作。 由于用到的整部小说数据过大无法一次发表，这里只将本文用到的电子小说数据的第一章节贴在下面，感兴趣的都可以拿过去玩一玩： ===========================================...
用python统计水浒传中的高频词汇
qq_43458650的博客
04-12 4572
用python统计水浒传中的高频词汇 #词频统计.py import jieba excludes = {"两个","一个","只见","如何","那里","哥哥","说道","军马","头领","众人","这里","兄弟","梁山泊","出来","小人","今日","这个","先锋","三个","因此","人马","问道","起来","便是","妇人","好汉","不是","不知","不曾","只是","如此","次日","我们","不得","如今","看时","不敢","来到","且说","一面","只
jieba统计词频
xiaobai_IT_learn的博客
10-17 896
1.jieba统计词频 # -*- coding: UTF-8 -*- import numpy as np import pandas as pd import jieba import jieba.analyse import codecs #设置pd的显示长度 pd.set_option('max_colwidth',500) #载入数据 rows=pd.read_csv('datas1...
NLP算法-基于 Jieba 的词频统计
Albert_weiku的博客
10-25 2285
在一份给定的文件里，词频（term frequency，TF）指的是某一个给定的词语在该文件中出现的次数。一个词语出现的次数越多，越表明是该文件的核心词汇，该词语对于快速理解文章具有重要的意义。词频统计是自然语言处理技术中最基础的技术之一，在词频统计中，如何区分词是很关键的一环。
python学习文本词频统计hamlet三国演义
04-10
python学习文本词频统计hamlet.txt三国演义.txt
python利用多种方式来统计词频（单词个数）
09-19
主要介绍了python利用多种方式来统计词频（单词个数），小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Python实现pdf中词频统计
10-14
Python实现pdf中词频统计全量代码，把文件存放到指定文件夹中，即可对全量文章进行统计特定词。
词频统计：Python 实现
05-03
本文旨在探讨如何使用 Python 语言实现词频统计，包括文本预处理、分词、词频计算以及结果的可视化。通过实际的代码示例，本文将展示如何高效地处理文本数据，并为读者提供一种准确严谨的词频统计方法。随着互联网和...
python词频统计实验报告_Python实验报告八
weixin_39684898的博客
02-04 3478
安徽工程大学Python程序设计班级：物流191姓名：汤振宇学号：319050108成绩：日期：2020/06/04指导老师：修宇【实验目的】 ：掌握读写文本文件或 CSV 文件，进而对数据进行处理的方法。【实验条件】 ：PC机或者远程编程环境【实验内容】：完成二个编程题。1)水浒传词频统计水浒传-词频统计描述使用词频统计的方法，生成《水浒传》出场次数最多的10个人物的姓名。‪‬‪‬‪‬‪‬‪‬...
使用jieba(中文分词)库统计词频
aieraisiji的博客
03-10 5994
一、 基本框架 以统计水浒传人物出场次数为例，列出出场次数最高的前三名。 import jieba #引用中文分词库 txt = open("shuihu.txt","r",encoding="gb18030").read() #读取文件，注意编码 excludes = {"两个","一个"} #通过不断优化排除结果中
三国演义人物词频统计-1
Mzjuser的博客
09-08 2934
题目来源：Python语言程序设计 授课老师： 嵩天、黄天羽、礼欣 hamlet小说下载路径:https://python123.io/resources/pye/threekingdoms.txt 三国演义人物词频统计-4：https://blog.csdn.net/Mzjuser/article/details/82527865 三国演义人物词频统计-3：https://blog.cs...
python水浒传名字次数_水浒传top20人物出现名字次数
weixin_28941895的博客
02-21 3721
下面代码是使用python的分词和词云绘制的水浒top20人物出现的次数from wordcloud import WordCloudimport jiebaimport imageiomask = imageio.imread('./su/1.png') #要绘制词云的形状# 读取小说内容with open('./su/水浒.txt', 'r', encoding='utf-8') as ...
python对三国演义，水浒传，红楼梦人物关系与出场频率进行文本分析，数据可视化，词云分析
david2000999的博客
09-28 5041
python对文本进行分析和数据可视化，主要运用到了jieba，worldcloudmatplotlib,nxwworkx,pandas库，其他库在代码中给出。 1.首先准备好这三本名著 2.准备好停词词库 代码如下： import matplotlib.pyp...
python水浒传词频统计
09-07
使用Python进行《水浒传》的词频统计是一种常见的文本分析方法。可以通过分词工具jieba对文本进行分词处理，然后统计每个词语出现的频率。 在给定的代码中，使用了jieba库对《水浒传》文本进行了分词处理，然后使用字典counts记录词语出现的频率。在统计过程中，排除了一些无效词语，比如“两个”、“一个”、“只见”等，同时对于相同对象的不同称谓进行了同一化处理。 最后，按照词语的频率进行排序，并输出前十个高频词汇。 因此，使用Python进行《水浒传》词频统计的代码如下所示： ```python import jieba excludes = {"两个","一个","只见","如何","那里","哥哥","说道","军马","头领","众人","这里","兄弟","梁山泊","出来","小人","今日","这个","先锋","三个","因此","人马","问道","起来","便是","妇人","好汉","不是","不知","不曾","只是","如此","次日","我们","不得","如今","看时","不敢","来到","且说","一面","只得","山寨","原来","将军","却是"} txt = open("水浒传.txt","r",encoding='gb18030', errors='ignore').read() words = jieba.lcut(txt) counts = {} for word in words: if len(word) == 1: continue elif word == "宋江道" or word == "宋江": rword = "宋江" else: rword = word counts[rword = counts.get(rword, 0) + 1 for word in excludes: del(counts[word]) items = list(counts.items()) items.sort(key=lambda x:x<span class="em">1</span><span class="em">2</span>

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值