python学习之文章中单词出现频率统计

思路：

统计一篇文章中单词出现的次数，首先应该知道该文章中，有多少个单词（去重后），然后再统计单词在文章中的出现频率。这里使用最简单的方式来实现该功能。

基础：

读者应该已经掌握python的主要数据结构的用法，——字典、列表、元组与集合。

多数的函数和方法的注释已经在源代码中注释，这里对sorted()函数进行一下特别说明。python中对sorted()函数做出的解释如下所示（可以通过help(function)的方式，获取对某个函数或方法的帮助）：

该解释的大意是通过sorted(iterable, /, *, key=None, reverse=False)该函数返回一个升序的新列表。可以通过key指定排序顺序。也可以通过reverse来设定是升序还是倒序排序。reverse= True降序，reverse=False升序。

本代码通过lambda表达式，以字典中的值为排序的参数。

import string

def statistics():

    """要注意python在取Windows操作系统的格式"""
    path = 'C://Users/10281/Desktop/Walden.txt'

    """当直接读取文件的时候，可能会遇到编码格式的问题，这里使用encoding指定编码格式为utf-8"""
    with open(path, 'r', encoding='UTF-8') as text:
        """
        此处使用了List comprehension,该种方式效率较高。
        split()方法用于对字符串的分片，在默认情况下，为所有的空字符，包括空格、换行(\n)、制表符(\t)。
        strip()方法用于移除字符串头尾指定的字符（默认为空格）。
        set() 函数创建一个无序不重复元素集，可进行关系测试，删除重复数据，还可以计算交集、差集、并集等。
        count() 方法用于统计字符串里某个字符出现的次数。可选参数为在字符串搜索的开始与结束位置。
        """
        print(string.punctuation)
        words = [raw_word.strip(string.punctuation).lower() for raw_word in text.read().split()]
        words_index = set(words)
        counts_dict = {index: words.count(index) for index in words_index}

    """
    sorted() 函数对所有可迭代的对象进行排序操作。
    sort 与 sorted 区别：sort 是应用在 list 上的方法，sorted 可以对所有可迭代的对象进行排序操作。
    list 的 sort 方法返回的是对已经存在的列表进行操作，而内建函数 sorted 方法返回的是一个新的 list，而不是在原来的基础上进行的操作。
    """
    for word in sorted(counts_dict, key=lambda x: counts_dict[x], reverse=True):
        print('{}--{} times'.format(word, counts_dict[word]))

if __name__ == "__main__":
    statistics()