1.从NLTK的book模块加载所有东西
>>>fromnltk.book import *
2.词语索引视图。显示一个指定单词的每一次出现,连同上下文一起显示。
>>>text1.concordance(‘monstrous’)
3.通过索引看到monstrous上下文中有the_pictures和the_size,查找哪些词出现在相似上下文,可以在被查询文本名后加similar,然后括号中插入相关词
>>>text1.similar(‘monstrous’)
4.函数common_contexts允许研究两个或两个以上的词共同的上下文,如monstrous和very。使用函数时必须永方括号和圆括号把词括起来,中间用逗号分开。
>>>text2.common_contexts([‘monstrous’,‘very’])
5.使用离散图显示词在文本中位置,每一竖线代表一个单词,每一行代表整个文本
>>>text4.dispersion_plot([‘citizens’,’democracy’,’freedom’.’duties’,’America’])
6.使用函数len获取文本中出现的词和标点符号为单位算出的长度
>>>len(text3)
7.set(text3)得到集合,无重复元素
将其按顺序列出
>>>sorted(set(text3))
计算其长度
>>>len(set(text3))
8.计算每个词平均使用次数
>>>len(text3)/len(set(text3))
9.计数一个词在文本出现的次数
>>>text3.count(‘smote’)
计算一个特定词在文本中占据百分比
>>>100*text4.count(‘a’)/len(text4)
10.可以定义函数来避免重复计算
>>>def lexical_diversity(text):
... return len(text)/len(set(text))
...
>>>def percentage(count,total):
... return 100*count/total
...
可如下调用函数
>>>lexical_diversity(text5)
7.420046158918563
>>>percentage(text4.count('a'),len(text4))
1.4643016433938312