python 词频统计并将结果写入一个txt中、如何写_python 统计词频后输出结果到Excel和txt文档...

最新推荐文章于 2024-04-22 21:30:30 发布
最新推荐文章于 2024-04-22 21:30:30 发布
阅读量1.9k 收藏 13
点赞数
文章标签： python 词频统计并将结果写入一个txt中、如何写

分词的应用场景还是蛮多的，比如电商里面的产品用户评价，每个商品的评价数很多，由于是大量的文本，需要从这些文本找出评价的关键字，这个时候分词就能派上用场；再比如，做文本分析，热点词统计都会用到分词。

整体思路就是利用python中的jieba库，对每一行文字进行分词处理，处理之后的结果放在list(列表)中。遍历列表，重复的值就计数，留下唯一的值作为key。

引用库

import jieba #分词

import xlwt #Excel库

import pandas as pd #pandas库

import matplotlib as mpl #matplotlib库由各种可视化类构成

from wordcloud import WordCloud #词云

import matplotlib.pyplot as plt #matplotlib.pyplot是绘制各类可视化图形的命令字库，相当于快捷方式

配置

mpl.rcParams["font.sans-serif"] = ['Microsoft YaHei'] #配置字体

plt.rcParams["axes.labelsize"] = 16 #轴域大小

plt.rcParams["xtick.labelsize"] =14 #x轴字体大小

plt.rcParams["ytick.labelsize"] =14 #y轴字体大小

plt.rcParams["legend.fontsize"]=12 #图例字体大小

plt.rcParams["figure.fig

最低0.47元/天 解锁文章
weixin_39858298
关注
  • 0
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python小程序--实现对文本的汉字统计
rgb000000的博客
04-23 2124
green hand 写的一遍小博客，来分享自己的小程序，请大佬不惜赐教，如有错误还请不惜赐教。
python如何打开txt文件、并算词频_Python 合并多个TXT文件并统计词频的实现
weixin_39854681的博客
11-21 323
需求是：针对三篇英文文章进行分析，计算出现次数最多的 10 个单词逻辑很清晰简单，不算难， 使用 python 读取多个 txt 文件，将文件的内容写入新的 txt 中，然后对新 txt 文件进行词频统计，得到最终结果。代码如下：(在Windows 10，Python 3.7.4环境下运行通过)# coding=utf-8import reimport os# 获取源文件夹的路径下的所有文件sou...
文本分析-使用Python做词频统计分析_python词频统计
2401_84004078的博客
04-22 404
词频统计是指在文本或语音数据中，统计每个单词或符号出现的次数，以便对文本或语音数据进行分析和预处理。在词频统计中，通常将文本或语音数据转换成单词或符号的形式，然后统计每个单词或符号出现的次数，并将其存储为一个数据集或字典。使用Counter函数对前面的分词结果进行统计，然后使用most_common输出按词频频次降序排列的结果，如果你只想输出前n个单词，传入数值即可。总之，词频统计是自然语言处理中的一个重要任务，其目的是为后续的文本分析、情感分析、机器翻译等任务做好准备。最后将词频统计的结果保存为文件。
python实现读取文件英文词频统计并写入到文件
dcjmessi的博客
09-22 3721
# _*_ coding: utf-8 _*_ # 作者：dcjmessi import os from collections import Counter # 假设要读取文件名为read，位于当前路径 filename = 'read.txt' # 当前进程工作目录 dirname = os.getcwd() fname = os.path.join(dirname, filename) ...
Python词频统计导入TXT，创建词云和词频数据可视化
No1Brother_Jian的博客
05-27 9506
统计词频将其导入TXT文档这个步骤卡了我好几天，问题不是导入失败就是格式错误，弄了我好几天才解决了，发现自己走了许多弯路啊！！！！现在我把我的代码分享给大家： import codecs import jieba from collections import Counter import matplotlib.pyplot as plt from wordcloud import WordClo...
python读取txt， jieba分词并统计词频后输出结果到Excel和txt文档
leofionn的博客
05-22 1万+
12345with open('1.txt', 'r') as fp:    lines = fp.readlines()    res = [line.split()[1][9:] for line in lines]    with open('out.txt', 'w+') as out:        out.write('\n'.join(res))#encoding=utf-8impo...
使用python对中文文档进行词频统计
热门推荐
TURING.DT
11-11 5万+
对中文文档进行词汇统计 1、使用jieba先对中文文档进行分词处理 需要处理的clean_data.csv文件内容（三列） http://you.ctrip.com/travels/1322/1360550.html   地中海邮轮+罗马深度自由行      宅猫行天下      http://you.ctrip.com/travels/1400/1600356.html  柏林&
python jieba分词并统计词频后输出结果到Excel和txt文档方法
09-20
本篇文章主要介绍了python jieba分词并统计词频后输出结果到Excel和txt文档方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
python把大文件txt导进excle.zip_.txt excel_DL4_excel txt_python excle
09-21
4. 使用`to_excel()`函数将处理后的DataFrame保存到Excel文件。 以上方法不仅可以节省内存，而且允许我们在处理大文件时进行中间步骤的控制和调试，是Python处理大数据文件的常用策略。在实际应用中，根据具体需求...
Python 合并多个TXT文件并统计词频的实现
09-18
在Python编程中，合并多个TXT文件并统计词频是一项常见的文本处理任务，尤其在数据分析、自然语言处理（NLP）等领域。本篇文章将详细介绍如何利用Python实现这一功能，并提供两个不同的实现方法。 首先，让我们来看...
基于python的将pdf转为txt然后进行分词，并进行词频统计
最新发布
06-08
【作品名称】：基于python的将pdf转为txt然后进行分词，并进行词频统计 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【项目介绍】...
Q.rar_python统计词频_分词_基于机器学习_词频 _词频统计
07-15
其中，`Q.txt`很可能是包含中文文本的数据源，而`Q`可能是处理后的结果，如词频统计的输出或分词后的文件。通过读取和解析这两个文件，我们可以实际操作上述步骤，实现中文文本的分词和词频统计。 总的来说，...
python如何打开txt文件、并算词频_用python计算多文档中的词频
weixin_39850365的博客
11-26 231
我有一个字典“d”中多个文本文件的地址列表：'d:/individual-articles/9.txt', 'd:/individual-articles/11.txt', 'd:/individual-articles/12.txt',...等等。。。在现在，我需要阅读字典中的每个文件，并保存一个在整个字典中出现的每个单词的单词出现的列表。在我的输出格式应该是：^{pr2}$等等。。在其中500...
python13-文本词频统计
qq_59572329的博客
03-18 1663
这是"实例"题，与课上讲解实例相同，请作答检验学习效果。‪‬‪‬‪‬‪‬‪‬‮‬‫‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬ 文本词频统计：：一篇文章，出现了哪些词？哪些词出现的最多？ ‪‬‪‬‪‬‪‬‪‬‮‬‫‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬
python实现：读取PDF文件中的英文单词，并将前二十个高频词储存到一个docx文档中
qq_58153224的博客
09-30 3090
总体思路如下： 1.读取PDF文件，将其中的英文单词提取出来 2.获得每个英文单词的词频，通过字典将英文单词及其词频配对 3.将英文单词按照词频由大到小排序 4.创建并写入docx文档 首先打开PDF文件用到了pdfplumber第三方库，具体应用如此下： with pdfplumber.open(pdf_path) as pdf_file: content = '' for i in range(len(pdf_file.pages)): #
txt文件英语单词词频统计
qq_15203169的博客
07-22 1166
把txt文件里的英语单词按照出现次数排序并生成csv文件，如果次数相同按照单词的md5值来排序。
python分词统计词频_-用python找出一篇文章中词频最高的20个单词
weixin_39603588的博客
11-24 1959
python统计一个大文件中很多小文件里面的词频#!/usr/bin/envpython3.6fromcollectionsimportCounterfromfunctoolsimportreducefromoperatorimportaddfrompathlibimportPathps=Path().glob('*.txt')c=reduce(add,[Cou...
Python统计字数并将结果输入到TXT文件中
leilei9406的博客
11-19 1001
import string import pandas as pd def str_count(str): '''找出字符串中的中英文、空格、数字、标点符号个数''' count_en = count_dg = count_sp = count_zh = count_pu = 0 for s in str: data = open("WORD_CO...
查询文本上每个汉字出现的次数 并将结果存入新的文本中
liulala16的专栏
05-11 184
/** * 查询文本上每个汉字出现的次数 并将结果存入新的文本中 * @param srcFile 需要解析的文本地址 * @param destFile 将结果存储在新的文本地址 */ public void ChineseCharNumberFromText(String srcFile, String destFile) { HashSet<Character> set = new HashSet<>(); List<Character&gt.
用python批量对txt文件进行去除停用词，分词和统计词频的详细代码，可以直接运行。并把输出的结果放进excel
06-06
好的，以下是用Python批量对txt文件进行去除停用词，分词和统计词频的详细代码，并将结果输出到Excel的步骤： 首先需要安装以下Python库： - jieba（用于中文分词） - openpyxl（用于操作Excel文件） 可以通过以下命令进行安装： ``` pip install jieba openpyxl ``` 接下来是代码部分，注释已加入代码中，直接运行即可： ```python import os import jieba import openpyxl from openpyxl.utils import get_column_letter from openpyxl.styles import Font # 停用词文件路径 stopwords_path = "stopwords.txt" # 获取停用词列表 stopwords_list = [] with open(stopwords_path, "r", encoding="utf-8") as f: for line in f: stopwords_list.append(line.strip()) # 创建工作簿和工作表 workbook = openpyxl.Workbook() worksheet = workbook.active # 设置表头 worksheet["A1"] = "文件名" worksheet["B1"] = "词语" worksheet["C1"] = "词频" # 设置表头样式 for col in range(1, 4): cell = worksheet.cell(row=1, column=col) cell.font = Font(name="宋体", size=12, bold=True) cell.alignment = openpyxl.styles.Alignment(horizontal="center", vertical="center") # 获取所有txt文件 txt_files = [filename for filename in os.listdir() if filename.endswith(".txt")] # 遍历所有txt文件 for index, filename in enumerate(txt_files): # 读取文件内容 with open(filename, "r", encoding="utf-8") as f: content = f.read() # 分词并去除停用词 words = jieba.cut(content) words_list = [word for word in words if word not in stopwords_list] # 统计词频 words_count = {} for word in words_list: if word in words_count: words_count[word] += 1 else: words_count[word] = 1 # 将文件名、词语和词频写入Excel for i, (word, count) in enumerate(words_count.items()): worksheet.cell(row=index+2+i, column=1, value=filename) worksheet.cell(row=index+2+i, column=2, value=word) worksheet.cell(row=index+2+i, column=3, value=count) # 自适应列宽 for col in worksheet.columns: max_length = 0 column = get_column_letter(col[0].column) for cell in col: try: if len(str(cell.value)) > max_length: max_length = len(str(cell.value)) except: pass adjusted_width = (max_length + 2) worksheet.column_dimensions[column].width = adjusted_width # 保存Excel文件 workbook.save("word_frequency.xlsx") ``` 这段代码会在当前文件夹中读取所有以`.txt`结尾的文件，对每个文件进行分词、去除停用词、统计词频，并将结果输出到一个名为`word_frequency.xlsx`的Excel文件中。其中，第一列为文件名，第二列为词语，第三列为词频。 需要注意的是，由于这段代码使用了中文分词，因此需要保证停用词文件和待处理的txt文件编码均为UTF-8。另外，由于分词的准确性和词频统计的效果与具体的业务场景和语料库有关，因此需要根据实际情况进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值