中文自然语言处理学习笔记（二）——语料库的安装与使用

l~l~long

已于 2024-04-02 14:13:08 修改

阅读量3.4k

点赞数 19

分类专栏：自然语言处理文章标签：自然语言处理人工智能 nlp

于 2024-04-02 10:56:56 首次发布

本文链接：https://blog.csdn.net/weixin_68955195/article/details/136802580

版权

自20世纪80年代以来，随着计算机应用技术的不断发展，世界各大语言都建立了许多不同规模、不同类型的语料库。这些语料库经过深度加工，应用范围也变得越来越广泛，在自然语言处理（NLP）中发挥着越来越重要的作用。因此，语料库已经成为了NLP的重要基础。本章将介绍语料库的基本概念、种类与构建原则，并通过实例介绍NLTK库这一NLP工具的使用，该工具涵盖了大量的数据集。

2.1 语料库的基本概念和用途。

2.1.1 语料库概述

语料库是指为特定一个或多个应用而专门收集的、具有一定结构和代表性的语料集合，可以被计算机程序检索，并且具有一定规模的数据。

什么是语料库

语料库实质上是经过科学取样和加工的大规模电子文本库。它具有以下三个显著特征：
1. 存储的是真实出现过的语言材料。
2. 以计算机为载体，承载语言知识的基础资源。
3. 是对真实语料进行加工、分析和处理的资源。

语料库不仅仅是原始语料的集合，还包括了结构化的语言信息，如语法、语义、语音、语用等。在自然语言处理系统中，使用大量的语言数据或语料是至关重要的，因为语料作为最基本的资源，在不同的自然语言处理系统中发挥着重要作用，构成了各种NLP方法的基础。

语料库有什么用

首先，语料库在语言研究中发挥着重要作用。它提供了大量真实的语言材料，可以用于句法分析、词法分析、语言理论和语言史研究等领域。同时，语料库也为语义学、语用学、会话分析、言语变体、语音科学和心理学等领域的研究提供了支持。

其次，语料库被广泛应用于编纂工具和参考书籍的制作。许多对语言教学有影响力的词典和语法书都是在语料库的基础上编写的。通过统计语料库中最常用的词汇、成语、搭配和例句等信息，这些参考书籍能够更准确地反映实际语言使用情况。

第三，语料库在语言教学中起到了积极作用。它可以帮助缩小课堂学习与实际使用之间的差距，揭示过去被忽视的语言规律，更准确地理解词语在实际交际中的意义和用法，并发现学习者在语言使用过程中存在的问题。此外，语料库还可用于语言测试和分析语言错误等方面。

最后，语料库在自然语言处理（NLP）中发挥着重要作用。经过加工处理的语料库可以应用于NLP的各个层面研究，包括词法分析、拼写检查、全文检索、词频统计、机器翻译等。通过语料库的语法标注和语义标注，可以进行语法检查、词义排除、改进名词短语辨识和机器翻译等任务。此外，语料库还可以解决指代问题、时态分析、目的识别、文本摘要和文本生成等语篇层面的任务。

2.2.2 语料库的种类与原则

语料库的类型主要根据其研究目的和用途进行划分。根据不同的标准，语料库可以被归类为多种类型。举例而言，按照语言种类划分，语料库可以分为单一语种语料库和多语种语料库；按照记录媒介的不同，语料库可以分为单一媒体语料库和多媒体语料库；按照地域差异，语料库可以分为国家语料库和国际语料库等。

语料库的种类

将语料库按照其结构划分为平衡结构语料库和自然随机结构语料库，按照用途划分为通用语料库和专用语料库，按照选取时间划分为共时语料库和历时语料库。

1. 平衡结构语料库与自然随机结构语料库
平衡结构语料库注重语料的代表性和平衡性，需要事先设计语料库中不同类型的语料，确定每种类型的语料所占比例，并按比例采集形成语料库。举例来说，布朗语料库是历史上首个机读语料库，代表了平衡结构语料库，按三层分类严格设计了每类语料的比例。自然随机结构语料库则按照某种原则随机收集语料，如《圣经》语料库、狄更斯作品语料库、英国知名作家作品库以及北京大学开发的《人民日报》语料库等。

2. 通用语料库与专用语料库
通用语料库和专用语料库根据不同的使用目的而划分。通用语料库没有特定限制，而专用语料库的选择可能仅限于某一领域，为特定目的而采集。专用语料库由某一特定领域、地区、时间、类型的语料组成，例如新闻语料库、科技语料库、中小学语料库、北京口语语料库等。通用领域和专用领域是相对概念。

3. 共时语料库与历时语料库
共时语料库旨在进行语言共时研究，即研究同一时间平面上元素或元素关系的语言现象。共时研究建立的语料库称为共时语料库，例如泛华语中文地区汉语共时语料库（LiVac），采用共时性视角分析具有代表性的中文媒体语料。历时语料库则旨在进行语言历时研究，探讨一个时间切面中元素与元素关系的演变。举例来说，国家现代汉语语料库由原国家语委建设，收录了1919年至今的现代汉语代表性语料，是典型的历时语料库。历时语料库的统计结果根据时间轴等距抽样得到的频次变化形成走势图。