软工作业 3：个人编程练习-CSDN博客

软工作业 3：个人编程练习

一、程序分析

（1）读文件到缓冲区

def process_file(dst):     # 读文件到缓冲区
    try:     # 打开文件
        txt = open(dst, 'r')
    except IOError as s:
        print(s)
        return None
    try:     # 读文件到缓冲区
        bvffer = txt.read()
    except:
        print("Read File Error!")
        return None
    txt.close()
    return bvffer

（2）处理缓冲区代码，统计每个单词的频率并存放在字典中

def process_buffer(bvffer):
    if bvffer:
        word_freq = {}
        #下面添加处理缓冲区 bvffer代码，统计每个单词的频率，存放在字典word_freq
        bvffer = bvffer.lower()  #把文本中大写字母转换为小写
        for ch in '!"#$%&()*+-,-./:;<=>?@“”[\\]^_{|}~':  # 替换文本中特殊字符为空格
            bvffer = bvffer.replace(ch, " ")
        words = bvffer.split() #分割字符串
        for word in words:
            word_freq[word] = word_freq.get(word, 0) + 1
        return word_freq

（3）将处理好的缓冲区代码按词频排序，输出词频Top10 的单词

def output_result(word_freq):
    if word_freq:
        sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True) #以第二列记录v[1]即词频排序
        for item in sorted_word_freq[:10]:  # 以单词+词频数格式输出Top 10 的单词
             print("{0:<10}{1:>5}".format(item[0],item[1]))

（4）设立一个测试函数，运用之前所设的函数功能，导入文本测试

def main():
    parser = argparse.ArgumentParser()
    parser.add_argument('dst')
    args = parser.parse_args()
    dst = args.dst
    bvffer = process_file(dst)
    word_freq = process_buffer(bvffer)
    output_result(word_freq)

（5）在主函数中增加简单功能分析，对该词频统计进行性能评估

if __name__ == "__main__":
    cProfile.run("main()", filename="result.out") # 把分析结果保存到文件中,增加排序方式

    p = pstats.Stats('result.out') # 创建Stats对象
    p.sort_stats('calls').print_stats(10)
    # 按照调用次数排序，打印前10函数的信息
    p.strip_dirs().sort_stats("cumulative", "name").print_stats(10)
    # 按照运行时间和函数名排序，只打印前10行函数的信息
    p.print_callers(0.5, "process_file") # 想知道有哪些函数调用了process_file（）
    p.print_callers(0.5, "process_buffer")
    p.print_callers(0.5, "output_result")
    p.print_callees("process_buffer") # 查看process_buffer（）函数中调用了哪些函数

二、代码风格说明

例如：缩进

使用4个空格进行缩进，不可使用Tab，也不要tab和空格混用

try:     # 打开文件
    txt = open(dst, 'r')

三、程序运行命令、运行结果截图

（1）对Gone_with_the_wind.txt的词频测试

（2)对A_Tale_of_Two_Cities.txt的词频测试

四、性能分析结果及改进

（仅对大文本Gone_with_the_wind.txt进行分析）

1.性能分析

（1)总运行时间

（2)调用次数最多的10个函数

（3）执行时间最长的10个函数

（4）分别查看三个函数耗时

（5）根据分别查看的函数执行时间，找到耗时最长的函数，再继续查看其中调用最多的方法

2.代码改进

由上述性能分析可知，词频统计中调用次数最多也是耗时最长的是对字典类型的get方法，其次就是对特殊字符的替换replace和字符串的分割split以及字母大小写转换，于是便考虑将process_buffer()中有关特殊字符的替换和字母大小写转换的代码注释掉。

def process_buffer(bvffer):
    if bvffer:
        word_freq = {}
        #下面添加处理缓冲区 bvffer代码，统计每个单词的频率，存放在字典word_freq
        # bvffer = bvffer.lower()  #把文本中大写字母转换为小写
        # for ch in '!"#$%&()*+-,-./:;<=>?@“”[\\]^_{|}~':  # 替换文本中特殊字符为空格
        #     bvffer = bvffer.replace(ch, " ")
        words = bvffer.split() #分割字符串
        for word in words:
            word_freq[word] = word_freq.get(word, 0) + 1
        return word_freq

发现重新运行后，总运行时间由0.335减少到了0.264，但对词频统计的结果也产生了影响。

发现统计出的词频整体下降，'a'的出现频率超过了'her'、'she'，'had'取代了'you'成为词频Top10；其原因应该是特殊字符的替换影响到了原本的文本中的字符组成。

3.可视化操作

安装graphviz ，并把gprof2dot.py 复制到当前分析文件的路径，

执行下述步骤：

1.  性能分析：python -m cProfile -o result.out -s cumulative word_freq.py Gone_with_the_wind.txt;分析结果保存到 result.out 文件；
2.  转换为图形；gprof2dot 将 result.out 转换为 dot 格式；再由 graphvix 转换为 png 图形格式。 
命令：python gprof2dot.py -f pstats result.out | dot -Tpng -o result.png

转换得到如下图：