前言:
今天为大家带来的内容是Python英文文章词频统计(14份剑桥真题词频统计),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
Python剑桥真题词频统计
提示:
最好还是要学以致用,小编自主搜集了19年最近的14份剑桥真题之后,通过Python提供的jieba第三方库,对所有的文章信息进行了词频统计,并选择性地剔除了部分简易词汇,比如:数字,普通冠词等,较懒,未清除干净。
Python代码如下:
用Python统计剑桥14份真题词频!(含示例代码)
先进行分词
words = jieba.cut(text, cut_all = False, HMM = True)
cut_all:是否采用全模式
HMM:是否采用HMM模型
word_ = {}
for word in words:
if (word.strip() not in stwlist):
if len(word) > 1:
if word != '\t':
if word != '\r\n':
计算词频
if word in word_:
word_[word] += 1
else:
word_[word] = 1
将结果保存为元组
word_freq = []
for word, freq in word_.items():
word_freq.append((word, freq))
降序排列
word_freq.sort(key = lambda x:x[1], reverse = True)
输出前3500个词汇
for i in range(3500):
word, freq = word_freq[i]
print('{0:10}{1:5}'.format(word, freq))
以上就是本文的全部内容啦!