python统计段落单词词频_Python词频统计

1.程序分析，对程序中的四个函数做简要说明。要求附上每一段代码及对应的说明。

⑴首先定义def process_file函数，将文件读到缓冲区并关闭，用open（）打开文件、read（）读取文件、close（）关闭文件

def process_file(dst): # 读文件到缓冲区

try: # 打开文件

f1 = open(dst, "r")

except IOError as s:

print (s)

return None

try: # 读文件到缓冲区

bvffer = f1.read()

except:

print ("Read File Error!")

return None

f1.close()

return bvffer

⑵将读取出的文件放入缓冲区中，对数据进行操作，切割字符串中的符号分开单词，统计每个单词的频率，存放在字典word_freq

def process_buffer(bvffer):

if bvffer:

word_freq = {}

# 下面添加处理缓冲区 bvffer代码，统计每个单词的频率，存放在字典word_freq

bvffer=bvffer.lower()

for x in '~!@#$%^&*()_+/*-+\][':

bvffer=bvffer.replace(x, " ")

words=bvffer.strip().split()

for word in words:

word_freq[word]=word_freq.get(word,0)+1

return word_freq

⑶遍历切割完的字符串，并输出统计频率Top 10 的单词

def output_result(word_freq):

if word_freq:

sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)

for item in sorted_word_freq[:10]: # 输出 Top 10 的单词

print(item)

⑷封装main函数，

if __name__ == "__main__":

import argparse

parser = argparse.ArgumentParser()

parser.add_argument('dst')

args = parser.parse_args()

dst = args.dst

bvffer = process_file(dst)

word_freq = process_buffer(bvffer)

output_result(word_freq)

2.性能分析结果及改进。

指出执行次数最多的代码，执行时间最长的代码。

给出改进优化的方法以及你的改进代码

3.程序运行命令、运行结果截图以及改进后的程序运行命令及结果截图 。

此行代码为统计Top10单词 python word_freq.py Gone_with_the_wind.txt

此行代码为词频分析 python -m cProfile word_freq.py Gone_with_the_wind.txt

以下为部门结果图片

4.给出你对此次任务的总结与反思

本次作业我在最后一天才做完，因为在字符串切割的部分卡了一下，毕竟很长使用没有用python了，字符串切割就是在格微做词典的时候用过，之后就没怎么接触过，现在从新捡起来感觉很吃力。我这次作业的是参考“软嵌161周展-python统计词频”的博文所完成的，看完这边博文真的学到了很多，复习了课上讲的，也百度了切割字符串，总的来说自己算是能简单的使用这一小部分了吧。