“Hamlet英文词频统计“实例讲解

一、问题分析

需求：一篇文章，出现了哪些词？哪些词出现得最多？ 我们该怎么做呢？

1.获取归一化文本

        我们在对一个文章进行统计之前，要确保它的格式正确，能够被识别。英文文章，字母有大写和小写，还有一些特俗字符。首先我们打开文件， 将文本中的大写字母修改为小写字母，特殊字符以空格进行替换。

         由于整个文本就是一个大的字符串，要提取其中的每一个单词，需要用到s.split()方法将文本按空格切分，返回一个列表。

2.数据统计

       我们可以利用字典统计列表中的每个单词出现的个数。

定义一个字典counts，利用字典我们逐一的从列表中取每一个元素，我们尝试一下这个元素是否在counts中，如果它在里面，就返回它的次数，再进行加1；如果它不在里面，就返回0，并加1，相当于在字典中新增了一个元素。

3.排序

将数据统计完之后，我们将字典转换为便于操作的列表，利用列表的list.sort()方法将列表按第二个值的值，从大到小进行排列。

4.输出

利用for...in对前十的单词进行打印，并对格式进行处理

---

二、.代码实现

1.代码

#CalHamletV1.py
def getText():
    txt = open("hamlet.txt", "r").read()    #打开读取文章
    txt = txt.lower()    #将大写字母转为小写
    for ch in '!"#$%&()*+,-./:;<=>?@[\\]^_‘{|}~':
        txt = txt.replace(ch, " ")   #将文本中特殊字符替换为空格
    return txt

hamletTxt = getText()
words  = hamletTxt.split()
counts = {}
for word in words:			
    counts[word] = counts.get(word,0) + 1
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True) 
for i in range(10):
    word, count = items[i]
    print ("{0:<10}{1:>5}".format(word, count))

2.输出结果

大部分都是介词，由此我们也可以分析莎士比亚的写作风格。

---