词频统计《哈姆雷特》

描述

Hamlet 《哈姆雷特》是莎士比亚的一部经典悲剧作品。这里提供了该故事的文本文件：hamlet.txt。‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬

请统计该文件中出现英文的词频，按照如下格式打印输出前10个高频词语：‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬

the       , 1138‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬

即：英文单词（左对齐，宽度为10）+ 逗号 + 词语出现的频率（右对齐，宽度为5）‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬

 ‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬

要求与说明：‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬

1. 标点符号及组合不算作英文词语，去除的标点及特殊符号如下 !"#$%&()*+,-./:;<=>?@[\\]^_‘{|}~‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‪‬

2. 同一单词的各种大小写形式记作一个词，如The和the相同 

第一次写的代码：

import re
count=0
 
f1=open('hamlet.txt')

for i in f1:
    if(i=='t'):
        t=1
        if(i=='h'):
            h=1
            if(i=='e'):
                e=1
                count+=1
                t=0
                h=0
                e=0
            else:e=0
        else:h=0
    else:t=0
    
print(count)
f1.close

这段代码的思路有一些问题。它试图在一个字符串中查找"the"这个词，但是方法不对。在Python中，字符串是不能这样逐字符比较的。而且，这段代码没有考虑到"the"这个词可能出现在字符串中的任何位置，不仅仅是开头。

可以使用Python的str.count()方法来计算一个字符串在另一个字符串中出现的次数，这个方法会返回指定子字符串在字符串中出现的次数。

另外，以下问题存在：

1. 文本清洗不彻底：在计算词频之前，需要对文本进行清洗，以去除标点符号、停用词、标点符号等。如果文本清洗不彻底，有些单词可能会被误计数，从而导致词频数偏大。
2. 大小写不敏感：如果代码对大小写不敏感，那么同一个单词的大小写形式会被视为不同的单词，从而导致词频数偏大。
3. 编码问题：如果文本包含非ASCII字符，例如中文、日文或其他非拉丁语系的字符，那么在计算词频时可能会出现编码问题，从而导致词频数偏大。
4. 边界问题：如果文本中的单词之间没有空格或标点符号分隔，那么在计算词频时可能会出现边界问题，从而导致词频数偏大。

为了解决这个问题，可以尝试以下几种方法：

1. 彻底清洗文本：在计算词频之前，需要对文本进行彻底的清洗，以去除标点符号、停用词、标点符号等。
2. 对大小写敏感：在计算词频时，需要对大小写敏感，以确保同一个单词的大小写形式被视为同一个单词。
3. 使用适当的编码：如果文本包含非ASCII字符，需要使用适当的编码来计算词频。
4. 添加边界标记：在计算词频时，需要在单词之间添加边界标记，以确保每个单词都被正确地计数。

以下是改进代码：

def gettext():
  f=open("hamlet.txt", "r").read()
  f=f.lower()
  for ch in '!"#$%()*+,-./:;<=>?@[\\]^_{|}~':
    f=f.replace(ch,' ')
  return f

txt=gettext()
words=txt.split()
counts={}

for word in words:
  counts[word]=counts.get(word,0)+1
items=list(counts.items())
items.sort(key=lambda x:x[1],reverse=True)

for i in range(10):
  word,count=items[i]
  print("{0:<10},{1:>5}".format(word,count))