python自然语言处理（一）

1.从NLTK的book模块加载所有东西

>>>fromnltk.book import *

2.词语索引视图。显示一个指定单词的每一次出现，连同上下文一起显示。

>>>text1.concordance(‘monstrous’)

3.通过索引看到monstrous上下文中有the_pictures和the_size,查找哪些词出现在相似上下文，可以在被查询文本名后加similar，然后括号中插入相关词

>>>text1.similar(‘monstrous’)

4.函数common_contexts允许研究两个或两个以上的词共同的上下文，如monstrous和very。使用函数时必须永方括号和圆括号把词括起来，中间用逗号分开。

>>>text2.common_contexts([‘monstrous’,‘very’])

5.使用离散图显示词在文本中位置，每一竖线代表一个单词，每一行代表整个文本

>>>text4.dispersion_plot([‘citizens’,’democracy’,’freedom’.’duties’,’America’])

6.使用函数len获取文本中出现的词和标点符号为单位算出的长度

>>>len(text3)

7.set(text3)得到集合，无重复元素

将其按顺序列出

>>>sorted(set(text3))

计算其长度

>>>len(set(text3))

8.计算每个词平均使用次数

>>>len(text3)/len(set(text3))

9.计数一个词在文本出现的次数

>>>text3.count(‘smote’)

计算一个特定词在文本中占据百分比

>>>100*text4.count(‘a’)/len(text4)

10.可以定义函数来避免重复计算

>>>def lexical_diversity(text):

...     return len(text)/len(set(text))

...

>>>def percentage(count,total):

...     return 100*count/total

...

可如下调用函数

>>>lexical_diversity(text5)

7.420046158918563

>>>percentage(text4.count('a'),len(text4))

1.4643016433938312