python统计复杂文本文档中单词频率(效果不好,不能去掉每行开头的两个‘空格’一样的东东(不是空格,不知道是什么),然后里面一些奇怪的字符页不能去掉 ,“mission.txt”为要统计的文本,)

#encoding:utf-8
import string
d={}
char="!\"\'‘() —…“”*,-./:;?[\\]{|}~"
identify = string.maketrans('', '')

result_name=r".\\test_result.txt"
file_name=r".\\mission.txt"
f=open(file_name,'r')
r=open(result_name,'w')

for line in f.readlines():
    line=line.translate(identify, char)
    for word in line.split():
        #print word
        word = word.strip().lower()
        #print word
        if d.has_key(word):
            d[word]+=1
        else:
            d[word]=1
for name in d:
    r.write("%s : %s\n"%( name , d[name]) )
print d



  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值