2021-04-02

NLTK包的使用

词频统计

NLTK生成的结果为频数字典

#导入nltk
import nltk
#导入分词工具 将文本分成单个词
from nltk.tokenize import word_tokenize
work_list = word_tokenize(text) #text为要分词的文本
fre = nltk.FreqDist(word_list) #统计所有分词的词频 返回结果是一个频数字典
fre.keys() #列出分词列表

统计出频数最高的前10个词（有两种形式）

fre.tabulate(10) #以列表形式展示
fre.most_common(10) #以词条的形式展示