python核心教程：用Python如何统计文本文件中的词频？

如何用python统计一个纯文本文件中的词频？这是我每次面试的时候都会问的一个问题。对于有些经验的程序员来说，这是一个很简单的问题。但实际情况是，很多面试者都不能很好甚至不能解决这个问题。

对文本做词频统计在爬虫抓取了数据后对数据做分类、去重等都有应用，算是一个数据处理的基本功能。

这里我们以英文内容为例来解决这个问题，而中文还涉及到文本的编码和分词。
读取文本文件

python读取文本很简单：

#读取整个文件的内容：
text = open('file.txt').read()
#按行读取文本，并返回一个list，每一行是list的一个item
lines = open('file.txt').readlines()

切分单词

英文行文以空格和标点符合来分隔单词，我们切分单词也以空格和标点符号来且分。但大多之考虑到空格而忽略了标点符号。英文中标点符合是直接挨着单词的，只以空格分割，会把表达符号也分到单词里面去。如下文本：

Google introduced its TPU at Google I/O 2016. Distinguished hardware engineer – and top MIPS CPU architect – Norm Jouppi in a blog post said Google had been running TPUs in its data centers since 2015 and that the specialized silicon delivered “an order of magnitude better-optimized performance per watt for machine learning.”

# 仅仅以空格切分：
words = text.split