python词频统计代码_python统计词频

一、程序分析

（1）将文件读入缓冲区（dst指文本文件存放路径，设置成形参，也可以不设，具体到函数里设置）

def process_file(dst): # 读文件到缓冲区try: # 打开文件

txt=open(dst,"r")

except IOErrorass:

print sreturnNonetry: # 读文件到缓冲区

bvffer=txt.read()

except:

print"Read File Error!"

returnNone

txt.close()return bvffer

（2）设置缓冲区，将文本度数缓冲区，并对文本的特殊符号进行修改，使其更容易处理，并读入字典。

def process_buffer(bvffer):ifbvffer:

word_freq={}

# 下面添加处理缓冲区 bvffer代码，统计每个单词的频率，存放在字典word_freq

bvffer=bvffer.lower()for x in '~!@#$%^&*()_+/*-+\][':

bvffer=bvffer.replace(x, " ")

words=bvffer.strip().split()for word inwords:

word_freq[word]=word_freq.get(word,0)+1

return word_freq

（3）设置输出函数，运用lambda函数对词频排序，并以“词”——“频”格式输出<