使用Python+NLTK实现英文单词词频统计

最新推荐文章于 2024-06-06 19:14:59 发布
最新推荐文章于 2024-06-06 19:14:59 发布
阅读量2.3w 收藏 83
点赞数 19
分类专栏： python 文章标签： python nltk 词频统计 词形还原
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/heykid/article/details/62424513
版权
本文介绍了如何使用Python和NLTK库进行英文单词的词频统计，包括读取文件、过滤特殊符号、词形还原以及结果写入文件的详细步骤。重点讲解了NLTK的词形还原功能，以应对英文单词的各种形态变化，帮助提升英语学习效率。
摘要由CSDN通过智能技术生成

使用Python+NLTK实现英文单词词频统计

应用场景

本人近来想要提高英语水平，决定从直接看英文书籍开始做起，在选择英文书的时候，我需要了解这本书的词汇量以及词频，这样在遇到生词的时候，我可以有针对性的对那些出现频率高的单词着重记忆。

在真正开始做的时候，发现统计词频并不像想象中那样简单。需要考虑到词形变化，动词、名词、形容词、副词、代词等等，这些词都会在有若干种不同的形式，来表达不同的意思。例如move和moved，这显然应该归为一个词而不应该分为两个词来统计，于是，我们需要对各种形式的单词进行词形还原（lemmatization）。

Fork Me

本项目已在github上开源，大家可以随意fork、下载，欢迎大家指出程序中的错误和不足，共同学习！
https://github.com/Sailingboat1988/wordcounter

参考运行环境

  • Python 2.7.12
  • NLTK 3.2.2
  • Ubuntu 16.04 LTS

流程步骤图

操作流程如下图：

Created with Raphaël 2.1.0 开始 读取文件 过滤特殊符号以及还原常见缩写单词 分词
最低0.47元/天 解锁文章
飞翔的荷兰人号2017
关注
专栏目录
Python实现统计英文文章词频的方法分析
09-19
主要介绍了Python实现统计英文文章词频的方法,结合实例形式分析了Python针对英文单词频率统计的相关原理、实现方法及具体操作技巧,需要的朋友可以参考下
利用python中的nltk库及正则表达式实现英文单词词频及出现年份统计
ayaishere_的博客
01-31 848
英语单词词频及出现年份统计
nltk学习之统计词频和分词nltk.word_tokenize nltk.FreqDist
机器学习初学者必看，关注我，一起了解机器学习
11-15 3208
分词 （1）可以使用split()函数 import nltk import numpy as np import re from nltk.corpus import stopwords #1 分词1 text = "Sentiment analysis is a challenging subject in machine learning.\ People express thei...
使用NLTK进行英文文本的分词和统计词频
苣篛
07-01 5680
目录分词分词后词干提取和词形归一Stemming词干提取 分词 先将文档读入，然后全部变为小写 txt=open("English.txt","r").read() txt = txt.lower()#将英文全部变为小写 中文分词需要专门的方法： 英文分词就可以直接使用word_tokenize()进行分词 text="This is a text for test.And I want to learn how to use nltk." words = nltk.word_token
[python]文本处理 pandas、nltk词频统计
ShenZ的博客
08-08 1905
先做好预处理和分词，word_list为处理好的列表 nltk的FreqDist方法 import nltk freqlist = nltk.FreqDist(word_list) #生成一个词频的字典 freqlist['词'] #查一个词的频率 freqlist.keys() #看里面所有的词 freqlist.tabulate(10) #前十个高频词,表显示 freqlist.most_common(5) #列表显示，列表中是元组 pandas import pandas as p
我应该如何使用 Python 的 NLTK 库进行词频统计
最新发布
06-06
### 如何使用Python的NLTK库进行词频统计 #### 一、引言 自然语言处理（NLP）是计算机科学领域的一个重要分支，旨在帮助机器理解人类语言。词频统计是NLP中最基础也是最常用的技术之一，通过统计文本中各个单词出现...
python实现文章词频统计
07-24
在Python编程语言中，进行文章词频统计是一项基础但实用的任务，它可以帮助我们理解文本的主要内容、主题或者模式。词频统计是文本挖掘和自然语言处理（NLP）中的一个关键步骤，尤其对于分析大量文本数据时，如新闻...
python 文本单词提取和词频统计的实例
09-19
在本实例中，我们将探讨如何使用Python进行文本中的单词提取和词频统计。这两个任务是许多文本分析任务的基础，例如情感分析、关键词提取和主题建模。 首先，让我们详细解释每个方法的功能： 1. **strip_html()**...
python学习文本词频统计hamlet三国演义
04-10
总结来说，Python的`collections.Counter`和`nltk`库为词频统计提供了强大工具，可以帮助我们有效地分析文本数据。在这个例子中，我们学习了如何使用这些工具来统计"hamlet.txt"和"三国演义.txt"的词频，并进行了...
生活大爆炸(TBBT)： 台词爬取、词云生成与NLP分析
Tele_Anti_Nomy的博客
03-04 3308
《生活大爆炸》（英文：The Big Bang Theory 简称：TBBT）广受喜爱（据说还可以练听力练口语blabla），去年随着第12季的播出而完结，最近也算是在补。有一天闲聊的时候偶然冒出来一个点子，就是利用词云来将大爆炸台词中的高频词汇可视化一下，也是一个有趣的练习。 简单来说我们的任务分为两部分，第一部分是获取台词数据，第二部分是生成词云和其他NLP分析。 目录 获取数据 ...
英文分词统计词频
01-18
一个小小的英文分词并统计词频程序 并用Jfreechart实现了图表化
Python实现快速计算词频功能示例
09-20
主要介绍了Python实现快速计算词频功能,结合实例形式总结分析了Python使用nltk库进行词频计算功能的相关操作技巧,需要的朋友可以参考下
用Python实现针对英文论文的词频分析
watermelon_learn的博客
09-04 5080
有时候看英文论文，高频词汇是一些术语，可能不太认识，因此我们可以先分析一下该论文的词频，对于高频词汇可以在看论文之前就记住其意思，这样看论文思路会更顺畅一旦，接下来就讲一下如何用python输出一篇英文论文的词汇出现频次。 首先肯定要先把论文从PDF版转为txt格式，一般来说直接转会出现乱码，建议先转为Word格式，之后再复制为txt文本格式。 接下来附上含有详细注释的代码 #论文词频分析...
python 词表里的词不符合_教你背单词 | 利用python分析考研英语阅读并生成词频降序表...
weixin_39768444的博客
11-21 319
作为一名19考研er距离我考研结束已经过去大半年想和大家分享一下当初背单词的骚操作众所周知考研英语“得阅读者得天下”提升词汇量又是提高阅读的关键那么问题来了？大家都是怎么背单词的呢从A到Z拿起砖头书就开干abandonabandon放弃... ...又或是拿起《考研大纲词汇5500》背了前面忘了后面也不能说不对...只是考研时间争分夺秒这样 太慢了！还有一个问题你背的单词你确定它考...
我应该如何使用 Python 的 NLTK 库进行词频统计？
youyouxiong的博客
06-06 491
这是一个基本的流程，你可以根据需要调整分词、清洗和统计的步骤。例如，你可能需要根据你的语言环境调整停用词列表，或者添加额外的文本预处理步骤，如词干提取（stemming）或词形还原（lemmatization）。在Python脚本或交互式环境中，导入NLTK库中的。
【NLTK基础教程】01-02 利用nltk统计词频
山不过来，我就过去
01-21 4426
在上篇中，简单的介绍了三种获取有效文本的方法，那么接下来就利用nltk来统计这些文本中出现的次数。 我们首先来看下传统统计词频的方法： import operator freq_dis={} for tok in tokens: if tok in freq_dis: freq_dis[tok]+=1 else: freq_dis[tok
python英文分词统计词频_数据分析-词频统计-nltk自然语言处理
weixin_39797758的博客
11-24 784
读取数据由于我们之前是吧每个职位都存储为单个的csv文件，所以我们先把它们的details职位要求细节信息读取出来。代码如下，具体说明参照之前的文章。#cell-1定义读取细节的函数defreadDetail(fileName):withopen(fileName,'r')asf:job=json.load(f)details=job['details'].lower()det...
python使用nltk进行中文语料库的词频分布统计
qq_48068259的博客
11-16 2463
python使用nltk进行中文语料库的词频分布统计，
python自然语言处理-使用NLTK做统计分析
wanght89的专栏
10-13 4833
讲述了NLTk库的使用方法，介绍了ngrams在Python中的操作方式
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值