词频统计

词频统计TF是统计一个term在文本中出现的次数，一般来说，一个term在某类文本中出现的次数越多，就越能代表一类文本。当然，如果某个term在一类文本中出现的次数越多而在其他类文本里根本不出现，就更能代表这一类文本。

直接上代码：

#!/usr/bin/env python
# -*- coding: UTF-8 -*-

for j in range(1,10):
    for i in range(10, 510):
        dic = {}  # 对于每一个文件，新建一个空的dic
        try:
            f = open('/Users/Administrator/Desktop/delstopwords3/%d/%d.txt' % (j,i), 'rb')
            print u"正在处理文本：", j,i
            for line in f:
                line = line.strip()
                if line in dic:
                    dic[line] += 1
                else:
                    dic[line] = 1

            dic = sorted(dic.items(), key=lambda d: d[1], reverse=1)
            c = open('/Users/Administrator/Desktop/wordsfrequence2/%d/%d.txt'  % (j,i), 'a')
            for a, b in dic:
                if b > 0:
                    c.write(a + '\t' + str(b) + '\n')
            c.close()

        except:
            continue