用python对一段下载的语料库进行词频统计

最新推荐文章于 2023-01-17 12:40:41 发布
最新推荐文章于 2023-01-17 12:40:41 发布
阅读量3.6k 收藏 12
点赞数 4
分类专栏： python自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wawj9393/article/details/78494705
版权
这篇博客记录了作者使用Python3对下载的语料库进行词频统计的过程，旨在解决老师布置的任务。代码适用于Python3环境，若在Python2环境下运行可能需要调整部分引用。
摘要由CSDN通过智能技术生成

老师布置的统计一段语料库中的几个词的词频，百度了很多资料但是始终找不到最符合自己想要的答案，在这里记录一下，希望以后可以督促自己继续努力。这里的代码在python3下可以运行，在python2下面的话注意更改一些必要的引用。

# coding=utf-8            设定编码形式
import  re                #包含正则表达式
import codecs
dict = {}
z = re.compile(u'[\u4e00-\u9fa5]+')#
最低0.47元/天 解锁文章
啾啾七七
关注
  • 4
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
python写程序统计词频的方法
12-31
可问题在于，当年我在少年宫学习计算机程序语言的时候，怎么可能想象得到，在20多年后的某一天，我需要先用软件调取语料库中的数据，然后用统计方法为每个单词标注词频，再写一个批处理程序从相应的字典里复制出多达...
python使用nltk进行中文语料库的词频分布统计
qq_48068259的博客
11-16 2428
python使用nltk进行中文语料库的词频分布统计，
使用python进行字频统计和词频统计
qq_48068259的博客
11-01 9113
使用两种方法对给定的数据进行词频和字频统计，过程中会使用jieba进行分词以及使用停用词表和正则匹配进行数据清洗
【自然语言处理】基于词典的分词方法
ayaishere_的博客
01-17 790
自然语言处理之基于词典的分词方法
中文信息处理实验1——针对人民日报语料编写程序
木子一个Lee的博客
01-01 1416
加深对汉语文本信息处理基础理论及方法的认识和了解，锻炼和提高分析问题、解决问题的能力。通过对具体项目的任务分析、数据准备、算法设计和编码实现以及测试评价几个环节的练习，基本掌握实现一个自然语言处理系统的基本过程。4.去除语料中的分词和词性标记，形成未加工的语料（原始文本)3.统计每个词出现的次数，并按照词频从小到大排序。2.统计总词数、不同词的个数并输出。2.总词数，不同词的个数。
语料库单字字频统计
学经世致用之学，练锤炼仕艺之术
12-07 2216
    前面通过实验,已经完成了批量文件处理和单文件的单字字频处理的功能,在此基础上, 我们便可以统计语料库的单字字频了.语料库实质就是一批文件的集合,通常为文本文件,所以语料库字频的统计也就是批量文件字频的统计了.语料库单字字频统计的基本思路是:利用File对象的String list()或File[] listFiles方法,获取语料库中的所有文件的文件名 或文件数量,然后循环读取统计每一个文
基于Python实现自动写诗（词频分析与TensorFlow）【100011909】
最新发布
04-19
Python库如`nltk`或`collections`可以用来进行词频统计。通过对古代诗词的大量文本数据进行处理，我们可以构建一个基础的词汇表，包含高频词汇和诗词中的特色表达。 接下来，我们利用TensorFlow，这是一个强大的...
基于Python自然语言处理工具包在语料库研究中的运用.zip
10-16
本资料包着重介绍了如何利用Python的NLP库进行有效的语料库构建、预处理、分析和挖掘。以下是关于这一主题的详细阐述： 1. **语料库的定义与重要性**：语料库是大量语言数据的集合，通常包括各种类型的文本，如新闻...
用Python给文本创立向量空间模型的教程
09-22
通过对每个文档的词频向量进行组合，我们可以得到整个语料库的文档-词矩阵。这一步骤涉及到将每篇文档的词频转换为与词汇表长度一致的向量，缺失的值通常用0表示。 ### 注意事项 1. 词频向量需要在相同的词汇空间...
Topic-specific-corpus-building_OberbichlerPfanzelter:特定主题语料库的建立
04-19
5. **LDA模型训练**：使用LDA对语料库进行主题建模，确定每个文档的主题分布。 6. **JSD计算**：计算不同时间段或来源的语料子集之间的JSD，评估主题一致性或变化。 7. **结果可视化**：通过图表展示主题分布和JSD...
对语料进行词频统计
08-10
对语料进行词频统计，计算每个词出现的频数，统计出所有词的总数，求和
人民日报1998年1月中文标注语料库
11-11
人民日报标注语料库(版本1.0，下面简称PFR语料库)是在得到人民日报社新闻信息中心许可的条件下，以1998年人民日报语料为对象，由北京大学计算语言学研究所和富士通研究开发中心有限公司共同制作的标注语料库。该语料库对600多万字节的中文文章进行了分词及词性标注，其被作为原始数据应用于大量的研究和论文中。
“语象观察”-爬取人民日报并统计词频
caspianke的博客
08-28 3067
文章目录一、确定整体思路二、实际操作部分1、爬取人民日报的数据2、整理爬取的数据3、统计关键词的出现次数4、后续操作 “语象观察”是之前看过的钱钢老师做的一项社会学研究，由于之前用于发布的“尽知天下事”公众号被封，导致目前无法再看到老师的相关研究成果（或许这个项目已经停止了），便有了自己尝试来研究。 钱钢老师的文章示例：https://sourl.cn/idh34d 一、确定整体思路 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5QkacRBB-159862980799
7.2.1 中文分词语料库-词频统计的实现-《NLP自然语言处理原理与实践》
weixin_44434643的博客
07-17 1953
首先，书上的代码是基于python2的，运行起来有多处问题。需要改正如下： 1.from framework import *，这个不知道是已有的文件还是什么，反正我直接给注释掉了，也不会报错 2.from cStringIO import StringIO,改为import io 3.设置UTF-8输出环境 reload(sys) sys.setdefaultencoding(‘utf8’) 改为 import importlib importlib.reload(sys) 4.先略过中间的两个函数，看最
语料库数据处理个案实例（分词和分句、词频统计、排序）
Triumph19的博客
06-21 2042
分词和分句，nltk
使用Python中的Pandas库进行语料处理（词频统计、清洗数据、选取满足条件的对应行写入文件等）
GCTTTTTT的博客
12-11 2634
import pandas as pd import numpy as np import json,math import random from tqdm import tqdm from collections import Counter ,defaultdict import re,nltk import re import pandas as pd import csv df=pd.read_csv("导出印地语数据1000条.csv") df.title df df.columns
（改进）Python语言实现词频统计
weixin_30376323的博客
11-14 146
需求： 1.设计一个词频统计的程序。 2.英语文章中包含的英语标点符号不计入统计。 3.将统计结果按照单词的出现频率由大到小进行排序。 设计： 1.基本功能和用法会在程序中进行提示。 2.原理是利用分隔符分词存入列表，然后从列表读出存入字典，键为词，值存放词的数量。 代码如图所示： 1.导入程序所需模块。 2.定义readfile类，实现去除文章中标点符号的功能。...
Python中文分词及词频统计
lee小白菜的博客
11-07 4445
Python中文分词及词频统计 中文分词 中文分词(Chinese Word Segmentation)，将中文语句切割成单独的词组。英文使用空格来分开每个单词的，而中文单独一个汉字跟词有时候完全不是同个含义，因此，中文分词相比英文分词难度高很多。 分词主要用于NLP 自然语言处理(Natural Language Processing)，使用场景有： 搜索优化，关键词提取(百度指数) 语义分...
python凯撒加密代码_python实现凯撒密码、凯撒加解密算法
weixin_39653622的博客
11-21 983
原博文2020-07-02 15:18 −凯撒密码的原理：计算并输出偏移量为3的凯撒密码的结果注意：密文是大写字母，在变换加密之前把明文字母都替换为大写字母def casar(message): # *************begin************# message1=message.upper() #把明文字母变成...0688相关推荐2019-09-28 21:13 −Python...
编写一个python程序实现汉语正向最大分词算法，词表可通过对北京大学分词语料库进行词频统计构建一个有限词表，并利用设计的分词程序对一段中文文本进行分词测试
04-19
非常感谢您的提问。我可以回答您的第一个问题。请注意，在使用北京大学分词语料库进行词频统计构建有限词表后，可以实现汉语正向最大分词算法的Python程序。以下是一个简单的实现示例： ```python def forward_max_match(sentence, word_dict): words = [] max_length = max([len(word) for word in word_dict]) while sentence: word = sentence[:max_length] while word not in word_dict and len(word) > 1: word = word[:-1] words.append(word) sentence = sentence[len(word):] return words word_dict = set(['分词', '语料库', '北京大学', '词频统计']) sentence = '北京大学的分词语料库中有很多有用的信息，我们可以通过词频统计来了解词语的使用频率。' print(forward_max_match(sentence, word_dict)) ``` 该程序采用了正向最大匹配算法，从左往右遍历输入句子，并依次匹配最长的词语。如果当前匹配的词语不在有限词表中，则找出该词语的一个子串再次匹配，直到找到一个在有限词表中的词语为止。 示例中，我们定义了一个包含四个词语的有限词表，并测试了程序在输入句子中的正确分词结果。输出结果如下： ``` ['北京大学', '的', '分词', '语料库', '中', '有', '很多', '有用', '的', '信息', '，', '我们', '可以', '通过', '词频统计', '来', '了解', '词语', '的', '使用', '频率', '。'] ``` 希望这个示例对您有所帮助。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值