第三次作业

1.个人信息

学号：2017xxxxx7226
姓名：赵嘉泰
仓库地址：https://gitee.com/guchangqiu/word_frequency

2.程序分析

(1）读取文件到缓冲区

def process_file(dst):     # 读文件到缓冲区
    try:
        infile=open(dst)

                
    except IOError as s:
        print (s)
        return None
    try:     # 读文件到缓冲区
        bvffer = infile.read()
    except:
        print ("Read File Error!")
        return None
    infile.close()

    return bvffer

 

(2）处理缓冲区，统计单词频率，修改特殊符号

ef process_buffer(bvffer):
    if bvffer:
        word_freq = {}
        bvffer = bvffer.lower()
        # 下面添加处理缓冲区 bvffer代码，统计每个单词的频率，存放在字典word_freq
        for x in ',.!?+-=':
            bvffer=bvffer.replace(x, " ")
        words=bvffer.strip().split()
        for word in words:
            word_freq[word]=word_freq.get(word,0)+1


        return word_freq
ef process_buffer(bvffer):
    if bvffer:
        word_freq = {}
        bvffer = bvffer.lower()
        # 下面添加处理缓冲区 bvffer代码，统计每个单词的频率，存放在字典word_freq
        for x in ',.!?+-=':
            bvffer=bvffer.replace(x, " ")
        words=bvffer.strip().split()
        for word in words:
            word_freq[word]=word_freq.get(word,0)+1


        return word_freq

(3）输出频率前十的单词

def output_result(word_freq):
    if word_freq:
        sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
        for item in sorted_word_freq[:10]:  # 输出 Top 10 的单词
            print(item)

(4）执行函数

if __name__ == "__main__":
    import argparse
    parser = argparse.ArgumentParser()
    parser.add_argument('dst')
    args = parser.parse_args()
    dst = args.dst
    bvffer = process_file(dst)
    word_freq = process_buffer(bvffer)
    output_result(word_freq)

5）运行结果

文件：Gone_with_the_wind.txt

小文件：A_Tale_of_Two_Cities.txt

3.性能分析及改进

(1）共有451565次函数调用，程序总共耗时0.247秒

2）执行次数最多

(3）执行时间耗时最长

 

4.总结

简单实现了对词频统计及其效能分析，很明显，效能是一个程序性能的决定性表现之一。

在完成过程中，遇到了一些小问题，在同学的帮助下还是顺利完成了。自己好需要努力，把知识学扎实。

 

转载于:https://www.cnblogs.com/guchangqiu/p/10670499.html