Natural Language Processing with Python 1.1

from nltk.book import *

不知道这个过程的是否只是载入9个文本，在我的电脑上需要20秒时间才能完成。

text1.concordance(word, width=79, lines=25)

查找text1中word出现的上下文，每次出现打印一行，word在每行居中，默认每行宽度79个字符，最多打印25行。由于word在每行完全居中，开头和结尾的字符可能不完整。

text1.similar(word, num=20)

text1中与word出现情境相似的单词，默认最多打印20个。第一次调用时建立索引速度较慢，之后查询速度较快。如果word在text1中未出现，则打印“no matches”；若无与word出现情境相似的单词，则返回空。

text1.common_contexts(word, num=20)

word实际上是一个单词列表，查找列表中单词的共同上下文，默认最多打印20个。

text1.dispersion_plot(word)

画出word列表中每个单词在text中出现位置的离散图，每条竖线代表一个单词，每行代表整个文本。

text1.generate(length=100)

按照text的风格生成随机文本，默认为100个单词长。第一次执行时搜集词序列的统计信息运行较慢。每次输出内容都不同。标点符号与前面的单词分离。

len(text3)

text3的长度，以标识符为单位，标识符是我们希望放在一起处理的字符序列，包括单词和标点符号。

sorted(set(text3))

返回text3的有序项目类型，同一单词的不同拼写记为不同类型。

from __future__ import division

len(text3) / len(set(text3))

text3中平均每个词使用的次数。

text3.count(“smote”)

text3中smote出现的次数

100 * text4.count(‘a’) / len(text4)

text4中a占文本的百分比

100 *  text5.count(‘lol’) / len(text5)

text5中lol所占的百分比

def lexical_diversity(text):

    return len(text) / len(set(text))

def percentage(count, total):

    return 100 * count / total

转载于:https://www.cnblogs.com/cbkun/p/3408041.html