一、程序分析,对程序中的四个函数做简要说明
1、读文件到缓冲区
def process_file(dst): #读文件到缓冲区
try: #打开文件
f = open(dst, 'r')exceptIOError as s:print(s)returnNonetry: #读文件到缓冲区
bvffer =f.read()except:print("Read File Error!")returnNone
f.close()return bvffer
2、处理缓冲区
defprocess_buffer(bvffer):ifbvffer:
word_freq={}#下面添加处理缓冲区 bvffer代码,统计每个单词的频率,存放在字典word_freq
bvffer =bvffer.lower()for ch in '“‘!;,.?”':
bvffer= bvffer.lower().replace(ch, " ") #将所有字母转换成小写,便于统计
words = bvffer.strip().split() #strip消除空白符,split以空格作为单词分界
for word inwords:
word_freq[word]= word_freq.get(word, 0)+1 #读取到的单词存放到字典
return word_freq
3、输出词频前十的单词
ef output_result(word_freq):ifword_freq:
sorted_word_freq= sorted(word_freq.items(), key=lambda v: v[1], reverse=True)for item in sorted_word_freq[:10]: #输出 Top 10 的单词
print(item[0], item[1])
4、主函数main对之前的方法进行整合
if __name__ == "__main__":
dst= "A_Tale_of_Two_Cities.txt"bvffer=process_file(dst)
word_freq=process_buffer(bvffer)
output_result(word_freq)
二、代码风格说明
在Python3中,Python 2 的 print 声明已经被 print() 函数取代了,例如:
python2:print "Read File Error!"
python3:print("Read File Error!"),python3中print函数必须带括号,否则会出错。
三、运行结果截图
对《双城记(A Tale of Two Cities)》进行词频统计
四、性能分析
将主函数部分改为性能分析代码
if __name__ == "__main__":
cProfile.run("main()", "result")#把分析结果保存到文件中,不过内容可读性差...需要调用pstats模块分析结果
p = pstats.Stats("result") #创建Stats对象
p.strip_dirs().sort_stats("call").print_stats() #按照调用的次数排序
p.strip_dirs().sort_stats("cumulative").print_stats() #按执行时间次数排序
p.print_callees("process_buffer") #查看process_buffer()函数中调用了哪些函数
运行时间:
代码执行次数: