import
import nltk
清理html标签
clean=nltk.clean_html(html)
计算词频
先分词然后计算词频,中文分词用结巴,英文直接split空格分词
import jieba
tokens=jieba.cut(text, cut_all=False)
#获取词频
freq_dist_nltk=nltk.FreqDist(tokens)
for k,v in freq_dist_nltk.items():
print( str(k) + ': '+ str(v) )
#画出分布图
freq_dist_nltk.plot(50,cumulative=False)