NLTK(FreqDist)

本系列博客为学习《用Python进行自然语言处理》一书的学习笔记。
1.3节 P17

FreqDist继承自dict,所以我们可以像操作字典一样操作FreqDist对象。
在本例中,FreqDist中的键为单词,值为单词的出现总次数。
实际上FreqDist构造函数接受任意一个列表,它会将列表中的重复项给统计起来,
在本例中我们传入的其实就是一个文本的单词列表。我们可以看看每个单词对应的出现次数:
命令行输入

import nltk
from nltk.book import *
fdist1 = FreqDist(text1)
for key in fdist1:
    print(key, fdist1[key])

输出结果

...
(u'pods', 4)
(u'yawed', 1)
(u'jewel', 2)
(u'gam', 3)
(u'Nelson', 3)
(u'Sperm', 135)
(u'volumes', 2)
(u'sleeves', 5)
(u'Shooting', 1)
(u'expands', 2)
(u'sash', 1)

FreqDist::plot(n)

该方法接受一个数字n,会绘制出现次数最多的前n项,在本例中即绘制高频词汇。

fdist1.plot(10)

这里写图片描述

累积频数图
这里写图片描述

fdist1.plot(10,cumulative=True)

FreqDist::tabulate(n)

该方法接受一个数字n作为参数,会以表格的方式打印出现次数最多的前n项。

fdist1.tabulate(15)
    ,   the     .    of   and     a    to     ;    in  that     '     -   his    it     I 
18713 13721  6862  6536  6024  4569  4542  4072  3916  2982  2684  2552  2459  2209  2124 

FreqDist::most_common(n)

该方法接受一个数字n作为参数,返回出现次数最多的前n项列表。

fdist1.most_common(15)
Out[33]: 
[(u',', 18713),
 (u'the', 13721),
 (u'.', 6862),
 (u'of', 6536),
 (u'and', 6024),
 (u'a', 4569),
 (u'to', 4542),
 (u';', 4072),
 (u'in', 3916),
 (u'that', 2982),
 (u"'", 2684),
 (u'-', 2552),
 (u'his', 2459),
 (u'it', 2209),
 (u'I', 2124)]

FreqDist::hapaxes():

该方法会返回一个低频项列表,低频项即出现一次的项。

FreqDist::max()

该方法会返回出现次数最多的项。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值