课后作业3

学号：2017035107135

姓名：孟哲

码云仓库：https://gitee.com/sybrjsjrg_br_jsj_rg/word_frequency

2.程序分析

1）读取文件到缓冲区

def process_file(dst):     # 读文件到缓冲区 try: # 打开文件 p = open(dst,"r") except IOError as s: print (s) return None try: # 读文件到缓冲区 bvffer = p.read() except: print ("Read File Error!") return None p.close() return bvffer

2）处理缓冲区，统计单词频率，修改特殊符号

def process_buffer(bvffer):
    if bvffer:
        word_freq = {}
        # 下面添加处理缓冲区 bvffer代码，统计每个单词的频率，存放在字典word_freq
        for fh in ',.!?+-_':
        #文本内容改为小写并去除符号 bvffer = bvffer.replace(fh, " ") #删除两边空白符，并以空格分割字符串 words = bvffer.strip().split() #循环判断，进行增值 for word in words: word_freq[word] = word_freq.get(word, 0) + 1 return word_freq

3）输出频率前十的单词

def output_result(word_freq):
    if word_freq:
        sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
        for item in sorted_word_freq[:10]: # 输出 Top 10 的单词 print(item)

4）执行函数

if __name__ == "__main__":
    import argparse
    parser = argparse.ArgumentParser()
    parser.add_argument('dst')
    args = parser.parse_args()
    dst = args.dst
    bvffer = process_file(dst)
    word_freq = process_buffer(bvffer)
    output_result(word_freq)

5）运行结果

大文件：Gone_with_the_wind.txt

 

 

小文件：A_Tale_of_Two_Cities.txt

 

3.性能分析及改进

1）共有452995次函数调用，程序总共耗时0.250秒

2）执行次数最多

 

3）执行时间耗时最长

 

 

 

 

 

总结：初步了解学习了词频统计
对于Git的用法还要多多了解学会 很好用
继续加强

 

转载于:https://www.cnblogs.com/mengzhe/p/10671332.html