ntlk入门函数解释(concordance, similar, common_contexts)

#from nltk.book import *;   #导入NTLK包中book中的所有的例子模型

#print(text1);  #输出book中text1的相关信息

#text1.concordance("monstrous");    #在text1中找到特定单词并显示出上下文
#print("monstrous in text1 similar to");
#text1.similar("monstrous");    #在text1找到用法、意义与该单词相似的词
#print();

#print("monstrous in text2 similar to");
#text2.similar("monstrous");    #在text2找到用法、意义与该单词相似的词
#print();

#text2.common_contexts(["monstrous", "very"]);    #在text2找到用法、意义与该单词集合相似的词
#print();

#print(len(text3));     #显示text3长度
#print();


#print(sorted(set(text3)));     #筛选出text3中所有单词和字符（不重复）并按照字母顺序排序
#print(len(set(text3)));     #测定text3中出现的单词和字符数（不重复）


'''
from __future__ import  division;
from nltk.book import text3;
a = 1.0 * len(text3) / len(set(text3));
print(a);
'''


from __future__ import  division;
from nltk.book import *;

def lexical_diversity(text):
    return len(text) / len(set(text));      #建立函数测算某个文本中所有单词出现的平均次数

def percentage(count, total):
    return 100 * count / total;     #建立函数测算某个单词在某个文本中所占的百分比

print(lexical_diversity(text3));
print(percentage(text4.count("a"), len(text4)));

代码来自 Natural Language Processing with Python一书

注释为我参考书后自己的理解，本人刚刚学习相关领域，如有不正确的地方，欢迎指出