英文文章的词频统计

今天去面试,被问到如何实现词频统计,因为之前都是直接调用value_counts()函数统计,在被要求不用该函数实现统计,一紧张就卡壳了,回到家大概自己想了一下,怎么一步步复现。

实现的方法有多种,我才用的办法是先把文件处理成string类型,然后string处理函数

#读入文件并处理成文本
def read_file(text_file):
    string_for_count=[]
    with open(text_file) as wf:
        for line in wf:
            string_for_count.append(line)
    return ''.join(string_for_count)   

随后定义文本中词语的词频统计

#统计词频
def word_counts(string):
    string_list = string.replace('\n','').lower().split(' ')
    count_dic = {}
    for item in string_list:
        if item in count_dic.keys():
            count_dic[item] += 1
        else:
            count_dic[item] = 1
    if ' ' in count_dic:
        count_dic.pop('') #删除空格
    count_list = sorted(count_dic.iteritems(),key=lambda x: x[1],reverse=True)
    return count_list

写的仓促,仅仅纪念惨淡的一次面试,以及渣渣的学习之路

在复习《机器学习实战》的时候,对于第二部分统计词频,获取到了使代码更简洁的表达方式,如下:

def word_counts(string):
    string_list = string.replace('\n','').lower().split(' ')
    count_list = {}
    for item in string_list:
        count_list[item] = count_list.get(item,0)+1
    if ' ' in count_list:
        count_list.pop('') #删除空格
    count_list = sorted(count_list.items(),key=lambda x: x[1],reverse=True)
    return count_list
阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭