《Python自然语言处理》学习笔记-第二章

第二章：获得文本语料和词汇资源

2.1 获取文本语料库

古滕堡语料库
（1）首先加载nltk包。
（2）使用nltk.corpus.gutenberg.fileids方法能够获取古滕堡语料库中所有的文本标识符。
（3）使用nltk.corpus.gutenberg.words方法能够获取某个文本的所有单词的列表。
（4）若要使用第一章第一节的方法，必须先将数据转换成text对象，使用nltk.Text函数。
（5）为了方便，可以先导入gutenberg对象，再使用与其相关的方法。
（6）常见文本统计量：平均词长、平均句子长度、词汇多样性（每个词出现的平均次数）。
（7）使用raw方法能够获取文本中出现的字符总个数，包括词之间的空格。
（8）sents方法能够获取文本中所有的句子，其中每一个句子是一个词链表。

网络和聊天文本
（1）Python的nltk语料库中也包含了一些不正式的语言，如：①网络文本小集合webtext库；②即时消息聊天会话语料库nps_chat。

布朗语料库
（1）布朗语料库是第一个百万词级的英语电子语料库。
（2）我们可以使用words和sents方法将语料库作为词链表或者句子链表来访问。在使用words和sents方法的时候可以使用categories参数指定特定的类别或文件。
（3）categories方法用于查看布朗语料库中的文体类别。
（4）布朗语料库用于研究文体之间系统性差异，也叫做文体学的研究。
（5）可以使用频率分布对象FreqDist和条件频率分布对象ConditionalFreqDist来实现一些文本统计，如不同文体中的情态动词的用法。

路透社语料库
（1）路透社语料库中的文档分成了90个主题，按照‘训练’和‘测试’分成两组。
（2）路透社语料库的类别是相互重叠的，是因为新闻报道往往涉及多个主题。
（3）使用categories方法剋有获取文本列表的主题。
（4）使用fileids方法可以获取涵盖主题列表中任意主题的文本标识符。
（5）使用words方法可以获取文本列表或者是主题列表的所有单词，主题列表需要指定categories参数。

就职演讲语料库
（1）语料库实际上是55个文本的集合，每个文本都是一个总统的演说，