计算语言学之语料库

0. 写在前面

我们自然语言处理和语言学方面的不同就在于，我们来源于大量的语料库统计资料。之前所看到的的语言学方面的篇章分析，大多都是基于几十篇的文章得出的结果，并不是太有说服力，仅仅是高频统计。所以，我们这一张来介绍一下语料库。

1. 语料库的来源

1.1 语料库的定义

语料库就是存放语言材料的数据库。做机器学习，最重要的是语料，有了大量的训练样本，才能够学习到更加真实的模型。

1.2 语料库语言学的发展

语料库语言学与自然语言处理也是同兴衰的。

在20世纪50年代中期以前，语料库语言学还停留在非计算机阶段。包括项研究儿童学习语言方式、音系研究、方言学与语料库技术的结合等。

在20世纪50年代中期到20世纪80年代初期，这个方面，由于乔姆斯基的《句法理论》等一系列主做的发表，从根本上改变了语料库语言学的发展状况。它指出了当时语言学的研究的2点错误：

首先，是语料研究方向有错。他认为，语言研究的主要目标是建立一种能够反映说话人心理现实的语言认知模式，即语言能力模式而语言的运用知识语言能力的外在证据，不能准确暗影语言能力，而语料更是外在化的话语汇集，因此基于语料的经验模式只能对语言能力做出部分解释，所以不能是语言学家从事研究的得力工具。

其次，是语料的不充分性。也就说，他认为语料库根本没有办法表示出整个语言的所有情况和特性。

这两点，在接下来的20年里都被认为是正确的，因此大部分人就不再研究语料库了，只有少数语言学家进行了研究，最终取得了不错的成果，也为语料库的复兴