学号:2017035107135
姓名:孟哲
码云仓库:https://gitee.com/sybrjsjrg_br_jsj_rg/word_frequency
2.程序分析
1)读取文件到缓冲区
def process_file(dst): # 读文件到缓冲区 try: # 打开文件 p = open(dst,"r") except IOError as s: print (s) return None try: # 读文件到缓冲区 bvffer = p.read() except: print ("Read File Error!") return None p.close() return bvffer
2)处理缓冲区,统计单词频率,修改特殊符号
def process_buffer(bvffer):
if bvffer:
word_freq = {}
# 下面添加处理缓冲区 bvffer代码,统计每个单词的频率,存放在字典word_freq
for fh in ',.!?+-_':
#文本内容改为小写并去除符号 bvffer = bvffer.replace(fh, " ") #删除两边空白符,并以空格分割字符串 words = bvffer.strip().split() #循环判断,进行增值 for word in words: word_freq[word] = word_freq.get(word, 0) + 1 return word_freq
3)输出频率前十的单词
def output_result(word_freq):
if word_freq:
sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
for item in sorted_word_freq[:10]: # 输出 Top 10 的单词 print(item)
4)执行函数
if __name__ == "__main__":
import argparse
parser = argparse.ArgumentParser()
parser.add_argument('dst')
args = parser.parse_args()
dst = args.dst
bvffer = process_file(dst)
word_freq = process_buffer(bvffer)
output_result(word_freq)
5)运行结果
大文件:Gone_with_the_wind.txt
小文件:A_Tale_of_Two_Cities.txt
3.性能分析及改进
1)共有452995次函数调用,程序总共耗时0.250秒
2)执行次数最多
3)执行时间耗时最长
总结:初步了解学习了词频统计
对于Git的用法还要多多了解学会 很好用
继续加强