统计文章词频（python实现）

统计出文章重复词语是进行文本分析的重要一步，从词频能够概要的分析文章内容。

本文将讲述如何用python3.6版本实现英文文章词频的统计，通过本文也可以对python字典的操作有一定的认识。

实现思路：1.输入文章 

      2.建立用于词频计算的空字典  

    3.对文本的每一行计算词频 

                    4.从字典中获取数据对到列表中

    5.对列表中的数据交换位置，并排序

    6.输出结果

注意事项：1.该代码只能实现英文文章的词频统计，因为中文文章分词还与其语意有关，需要用到中文分词技术

    2.网上下来的英文文章可能有一些不是utf-8编码，并且文章中有一些字符包含一些格式符可能或导致解码错误 （UnicodeDecodeError: 'gbk' codec can't decode byte 0xff in position 0: illegal multibyte sequence）

代码实现如下：

from string import punctuation

#对文本的每一行计算词频的函数
def processLine(line,wordCounts):
    #用空格替换标点符号
    line=replacePunctuations(line)
    words = line.split()
    for word in words:
        if word in wordCounts:
            wordCounts[word]+=1
        else:
            wordCounts[word]=1

def replacePunctuations(line):
    for ch in line :
        #这里直接用了string的标点符号库。将标点符号替换成空格
        if ch in punctuation:
            line=line.replace(ch," ")
        return line

def main():
    infile=open("englishi.txt",'r')
    count=10
    words=[]
    data=[]

    # 建立用于计算词频的空字典
    wordCounts={}
    for line in infile:
        processLine(line.lower(), wordCounts)#这里line.lower()的作用是将大写替换成小写，方便统计词频
    #从字典中获取数据对
    pairs = list(wordCounts.items())
    #列表中的数据对交换位置,数据对排序
    items = [[x,y]for (y,x)in pairs]
    items.sort()
    #因为sort()函数是从小到大排列，所以range是从最后一项开始取
    for i in range(len(items) - 1, len(items) - count - 1, -1):
        print(items[i][1] + "\t" + str(items[i][0]))
        data.append(items[i][0])
        words.append(items[i][1])

    infile.close()

if __name__ == '__main__':
    main()