【NLP】自然语言处理－第六节 获取文本语料库

第6节 获取文本语料库

1 引言
2 古腾堡语料库

1 引言
在自然语言处理的实际项目中，通常要使用大量的语言数据或者语料库。本章将通过语言处理任务的例子展示编程概念。

一个文本语料库是一大段文本，许多语料库的设计都要考虑一个或多个文体间谨慎的平衡。我们曾在第 1 章研究过一些小的文本集合，例如美国总统就职演说。这种特殊的语料库实际上包含了几十个单独的文本——每个人一个演讲——但为了处理方便，我们把它们头尾连接起来当做一个文本对待。
前面也使用变量预先定义好了一些文本，我们通过输入 from book import * 来访问它们。然而，因为我们希望能够处理其他文本，本节中将探讨各种文本语料库。我们将看到如何选择单个文本，以及如何处理它们。

2 古腾堡语料库

NLTK 包含古腾堡项目（Project Gutenberg）电子文本档案的经过挑选的一小部分文本。项目大约有 25,000（现在是 36,000 了）本免费电子图书，放在 http://www.gutenberg. org/上，在这里不需要下载，在课程提供的nltk包中已经包含了，只需使用命令直接调用。

要使用古腾堡语料库，只需要要用 Python 解释器加载NLTK 包，然后尝试 nltk.corpus.gutenberg.fileids()，如图：

可以看到有很多的文本，挑选这些文本的第一个——简·奥斯丁的《爱玛》——并给它一个简短的名称 emma，然后找出它包含多少个词：

在前面章节中，我们讲述了如何使用 text1.concordance()命令对像text1 这样的文本进行索引。然而，这是假设你正在使用由 from nltk.book import * 导入的 9 个文本之一。像下图这样：

现在我们开始研究 nltk.corpus 中的数据，像前面的例子一样，必须采用以下语句对来处理索引和前面例子中的它任务。达到同样效果。

emma = nltk.Text(nltk.corpus.gutenberg.words(‘austen-emma.txt’))
emma.concordance(“where”) #索引

(nltk.corpus.gutenberg.words): 调用nltk.corpus 中的古腾堡库数据
(‘austen-emma.txt’) ：古腾堡数据中的文档名称
emma = nltk.Text() : 读取nltk文档
在定义的emma 时，调用了 NLTK 中的 corpus 包中的 gutenberg 对象的words()函数。但总是要输入这么长的名字很繁琐，Python 提供了另一个版本的 import 语句，示例如下：

from nltk.corpus import gutenberg
gutenberg.fileids()

【例1-1】写一个简短的程序，通过循环遍历前面列出的gutenberg 文件标识符链表相应的 fileid，然后计算统计每个文本。
为了使输出看起来紧凑，我们使用函数 int()来确保数字都是整数：
import nltk
from nltk.corpus import gutenberg

for fileid in gutenberg.fileids():
num_chars = len(gutenberg.raw(fileid))
num_words = len(gutenberg.words(fileid))
num_sents = len(gutenberg.sents(fileid))
num_vocab = len(set([w.lower() for w in gutenberg.words(fileid)]))
print(int(num_chars/num_words), int(num_words/num_sents),
int(num_words/num_vocab),fileid)
如果使用python3,print要加（），还要注意print()的缩进，显示每个文本的三个统计量：平均词长、平均句子长度和本文中每个词出现的平均次数，我们将结果打印出来如图：

前面的例子也表明我们怎样才能获取“原始”文本而不用把它分割成标识符。raw() 函数给我们没有进行过任何语言学处理的文件的内容。因此，例如：len(gutenberg.raw(’ blake-poems.txt’))告诉我们文本中出现的词汇个数，包括词之间的空格。
sents()函数把文本划分成句子，其中每一个句子是一个词链表。

#sents()函数划分莎士比亚中的句子

t_sent1= gutenberg.sents(‘shakespeare-macbeth.txt’)
t_sent1
t_sent1[1000] #打印出索引为1000的句子
打印结果如图所示

除了words()、raw()和 sents()以外，大多数 NLTK 语料库阅读器还包括多种访问方法。一些语料库提供更加丰富的语言学内容，例如以下几种：

词性标注
对话标记
句法树