py检查txt文本里面单词重复数量并生成统计列表-week2

脚本是书上写的，我改动了一些，因为用来筛选统计的文本换了一个，所以意外的产生了一些其他报错研究了好一会才找出来原因，看书自学的痛苦。

第一步编写函数文本预处理

第二步编写函数统计单词 topn标识取频率最高的单词个数

注意点
1.被统计本文我命名为ne.txt你们自行改；

2.路径我是用的C:\Users\Dieter.DING\Desktop\新建文件夹\ne.txt你们自行改；

3.统计后生成文档，我命名为wordcounts.txt你们自行改；

4.encoding='utf-8'这个很重要哦 ，前面一个py运行了如果是cp936，现在不统一就会出现报错：

‘gbk‘ codec can‘t decode byte 0x8c in position 16

5.文本里面有什么不想要统计的单词，比如这些就拿出来剃掉，因为如果你的文件里面没有以上单词，也同样会报错

excludes = {'the','and','to','of','be','a','it','is','not','but'}你们自行改；

def getText(text):
    text = text.lower()
    for ch in ",.;?-\'":
        text = text.replace(ch,"")
    return text

def wordFreg(text,topn):
    words = text.split()
    counts ={}
    for word in words:
        counts[word] = counts.get(word,0) + 1
    excludes = {'the','and','to','of','be','a','it','is','not','but'}
    for word in excludes:
        del(counts[word])
    items = list(counts.items())
    return items[:topn]
#编写主程序， 调用函数
try:
    with open(r"C:\Users\Dieter.DING\Desktop\新建文件夹\ne.txt",'r',encoding='utf-8-sig') as f:
        text = f.read()
        text = getText(text)
        freqs = wordFreg(text, 10)
except IOError:
    print("文本不存在,请先创建！\n")
else:
    try:
        with open(r"wordcounts.txt", 'w',encoding='utf-8') as fileFreq:
            items = [word + '\t' + str(freq) + '\n' for word,freq in freqs]
            fileFreq.writelines(items)
    except IOError:
        print("写入文件错误")
        for word,freq in freqs:
            print("{:<10}{:>}".format(word,freq))