·计数函数
1.len() 计算文本长度(以单词和标点符号为单位)
>>>len(text1)
44764
>>>
2.set() 用于获取文本词汇表(去重)
3.sorted() 得到一个词汇条目的排序表,这个表以各种标点开始,然后接着是以A开头的词汇,大写排在小写之前。
>>>sorted(set(text3))
['!',"'",'(',')',',','.','A','Abel','Abidah'...]
>>>len(set(text3))
2789
>>>
注:尽管书中有44764个标识符,但只有2789个不同的词汇或者‘词类型’。词类型是指一个词在一个文本中独一无二的出现或者拼写形式。
计算每个词的平均使用次数:
>>>from _future_import division
>>>len(text3)/len(set(text3))
16.05 0197203298673
>>>
·自定义函数
使用关键字def给函数定义一个简短的名字,可以在括号中自定义参数。经过def定义后可直接使用。
注:和C语言define不同,不是直接替换的关系。
例子:
>>>def lexical_diversity(text):
... return len(text)/len(sent(text))
...
>>>def percentage(count,total):
... return 100*count/total
...
>>>lexical_diversity(text3)
16.05 0197203298673
>>>percentage(4,5)
80.0
注:当遇到第一行末尾的冒号时,Python解释器由>>>变为...
...提示符表示的是Python期望的是在后面出现一个缩进代码块,缩进由自己决定,4空格或者Tab,结束缩进代码段输入空行。
*本文中所有代码均来自《Python自然语言处理》(Steven bird,Ewan Klein&Edward Loper)