Python自然语言处理笔记(五)------获取文本语料库

一. 获取文本语料库

1. 古腾堡语料库

古腾堡语料库：包含古腾堡项目电子文本档案的一小部分文本，该项目大约有25000（现在是36000）本免费电子书。（文学类，比较正式的语言）

raw()函数:能在没有进行过任何语言学处理之前把文件的内容分析出来。

sents()函数: 把文本划分位一个句子，其中每一个句子是一个词链表。

words()函数：返回词数。

获取：from nltk.corpus import gutenberg

写一段简短的程序，通过循环遍历前面所列出与gutenberg文件标识符相应的fileid,然后计算统计每个文本。统计量：平均词长、平均句子长度、和本文中每个词出现的平均次数（词汇多样性）。

2.网络与聊天文本

网络与聊天文本（非正式）：Firefox交流论坛、在纽约无意间听到的对话、《加勒比海盗》的电影剧本、个人广告和葡萄酒的评论。

获取: from nltk.corpus import webtext

还有一个即时消息聊天会话语料库,最初由美国海军研究生院为研究自动检测互联网入侵者而收集的。

获取：from nltk.corpus import nps_chat

3. 布朗语料库

布朗语料库：是第一个百万词级的英语电子语料库，这个语料库包含500个不同来源的文本，按照文体分类，如新闻、社论等。是一个研究文体之间的系统性差异的资源。

获取：from nltk.corpus import brown

比较不同文体中情态动词的用法

第一步：对特定文体进行计数

 第二步：使用条件频率分布函数

4. 路透社语料库

路透社语料库：包含10788个新闻文档，这些文档分成90个主题，按照“训练”和“测试”分为两组。路透社语料库的类别是互相重叠的，我们可以查找一个或多个文档涵盖的主题，也可以查找在一个或多个类别中的文档。

 

获取：from nltk.corpus import reuters

5. 就职演说语料库

就职演说语料库：实际上是55个文本的集合，每个文本都是一个总统的演说，这个集合的一个显著特性是时间维度，每个文本的年代都出现在它的文件名中，要从文件名中获取年代使用fileid[:4]提取前四个字符。

获取：from nltk.corpus import inaugural

查看词汇america和citizen随时间推移使用情况。

 

 6. 标注文本语料库与其他语言语料库

 7. 载入自己的语料库