浅析如何用Python进行中英文词频统计

浅析如何用Python进行中英文词频统计

主要思路：

• 读取数据
• 数据预处理
• 分词
• 词频统计
• 结果显示

---

词频统计

TF-IDF（term frequency–inverse document frequency）词频–反转文件频率，是一种用于情报检索与文本挖掘的常用加权技术，用以评估一个词对于一个文件或者一个语料库中的一个领域文件集的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。 —— [ 百度百科 ]

词频统计实例

英文词频统计
Hamlet
中文词频统计
三国演义

代码块

#CalHamletV1.py

def getText():
	txt=open("Hamlet.txt","r").read()#读取数据
	txt=txt.lower()#数据清洗
	for ch in ["~!@#$%^&*()_+{}|[]\:;'<>?,./"]:
	txt=txt.replace(ch," ")#分词
	return txt
Hamlet=getText()
words=Hamlet.split()#切片
counts{}#词频统计
for word in words:
	counts[word]=counts.get(word,0)+1
items=list(counts.items())#结果显示
items.sort(key=lambda x:x[1],reverse=True)
for i in range(15):
	word,count=items[i]
	print("{0:<10}{1:>5}".format(word,count))

#CalThreekingdomsV1.py
import jieba#导入jieba中文分词包
txt=open("Threekingdoms.txt","r",encoding="utf-8").read()#读取数据
words=jieba.lcut(txt)#分词
counts={}#词频统计
for word in words:
	if len(word)==1:
		continue
	else:
		counts[word]=counts.get(word,0)+1
items=list(counts.items())	#结果显示
items.sort(key=lambda x:x[1],reverse=True)
for i in range(15):
	word,count=items[i]
	print("{0:<10}{1:>5}".format(word,count))

##运行结果（截图）