下载一首英文的歌词或文章
将所有,.?!’:等分隔符全部替换为空格
将所有大写转换为小写
生成单词列表
生成词频统计
排序
排除语法型词汇,代词、冠词、连词
输出词频最大TOP20
将分析对象存为utf-8编码的文件,通过文件读取的方式获得词频分析内容。
f = open('news.txt', 'r')#读取“news.txt”文件
news = f. read()
sep = ''',.?!'":'''
exclude = {'the', 'and', 'in', 'in', 'to', 'on', 'a', 'that', 'for', 't', 'of'}#去词
for c in sep:
news = news.replace(c, ' ')
wordlist = news.lower().split()
wordDict = {}#字典
wordSet = set(wordlist) - exclude
for w in wordSet:
wordDict[w] = wordlist.count(w)
sort_word = sorted(wordDict.items(), key=lambda x: x[1], reverse=True)#排序
for i in range(20):
print(sort_word[i])
f = open('news_count.txt', 'a')#结果输出到文件
for i in range(20):
f.write(str(sort_word[i])+'\n')
f.close()
2.中文词频统计
下载一长篇中文文章。
从文件读取待分析文本。
news = open('gzccnews.txt','r',encoding = 'utf-8')
安装与使用jieba进行中文分词。
pip install jieba
import jieba
list(jieba.lcut(news))
生成词频统计
排序
排除语法型词汇,代词、冠词、连词
输出词频最大TOP20(或把结果存放到文件里)
import jieba
f=open('s.txt', 'r', encoding="UTF-8")
str=f.read()
f.close()
new=list(jieba.cut(str))
exclude = {",", "。", "《", "》", , ":", "“", "”", "?", " ", ";", "!", "、", "\n"}
sep = set(new) - exclude
dict = {}
for i in sep:
dict[i] = new.count(i)
list = list(dict.items())
list.sort(key=lambda x:x[1], reverse=True)
f = open("null.txt", "a")
for i in range(20):
f.write('\n' + list[i][0] + " " + str(list[i][1]))
f.close()
将代码与运行结果截图发布在博客上。
运行结果:(由于时间关系,中文部分只选取了《三国演义》中的一部分)
('he', 50)
('was', 25)
('play', 25)
('would', 23)
('his', 17)
('dad', 17)
('i', 15)
('mandolin', 15)
('it', 11)
('could', 11)
('we', 10)
('family', 10)
('when', 9)
('had', 9)
('as', 8)
('time', 6)
('us', 6)
('not', 6)
('song', 5)
('with', 5)