3.2 语音和语言处理简史

语音和语言处理简史

目标

1. 简单了解自然语言处理的发展历程

在历史上，语音和语言处理曾经在计算机科学、电子工程、语言学和心理认知语言学等不同的领域分别进行研究。之所以出现这种情况，是由于语音和语言处理包括了一系列性质不同而又彼此交叉的学科，它们是：语言学中的计算语言学（computational linguistics）、计算机科学中的自然语言处理（natural language processing）、电子工程中的语音识别（speech recognition）、心理学中的计算心理语言学（computational psycholinguistics）。本节中，我们将把在语音和语言处理中这些不同的历史线索做总结性的说明。

1 基础研究：20 世纪 40 年代和 20 世纪 50 年代

这个领域的研究最早可以追溯到第二次世界大战刚结束时的那个充满了理智的时代，那个时代刚发明了计算机。从 20 世纪 40 年代到 20 世纪 50 年代末的时期有两项基础性的研究值得注意：一项是自动机（automaton）的研究，另一项是概率模型（probabilistic models）或信息论模型（information- theoretic models）的研究。

20 世纪 50 年代提出的自动机理论来源于 Turing 的算法计算模型（1936），这种模型被认为是现代计算机科学的基础。Turing 的工作首先导致了 Mcculloch-Pits 的神经元（neuron）理论（Mc Culloch-Pit,1943)。一个简单的神经元模型就是一个计算的单元，它可以用命题逻辑来描述。

接着，Turing 的工作导致了 Kleene (1951,1956) 关于有限自动机和正则表达式的研究。Shannon(1948) 把离散马尔可夫过程的概率模型应用于描述语言的自动机。Chomsky (1956) 从 Shannon 的工作中吸取了有限状态马尔可夫过程的思想，首先把有限状态自动机作为一种工具来刻画语言的语法，并且把有限状态语言定义为由有限状态语法生成的语言。这些早期的研究工作产生了形式语言理论（formal language theory）这样的研究领域，采用代数和集合论把形式语言定义为符号的序列。Chomsky 在研究自然语言的时候首先提出了上下文无关语法（1956），但是，Backus (1959) 和 Naur et al. (1960) 在描述 ALGOL 程序语言的工作中也独立地发现了这种上下文无关语法。

这个时期的另外一项基础研究工作是用于语音和语言处理的概率算法的研制，这是 Shannon的另一个贡献。Shannon 把通过诸如通信信道或声学语音这样的媒介传输语言的行为比喻为噪声信道（noisy channel）或者解码(decoding) 。Shannen 还借用热力学(thermodynamics）的术语“熵”(entropy）来作为测量信道的信息能力或者语言的信息量的一种方法，而且他首次用概率技术测定了英语的熵。

在这个时期，还研究了声谱（Koenig et al,1946），声谱和实验语音学的基础研究为之后语音识别的研究奠定了基础。这导致了 20 世纪 50 年代第一个机器语音识别器的研制成功。1952 年，贝尔实验室的研究人员建立了一个统计系统来识别由一个单独的说话人说出的 10 个任意的数字（Davis et al,1952)。该系统存储了 10 个依赖于说话人的模型，它们粗略地代表了英语数字的头两个元音的共振峰。贝尔实验室的研究人员采用选择与输入具有最高相关系数模式的方法，达到了 97%~99%的准确率。

2 两个阵营：1957 年至 1970 年

在 20 世纪 50 年代末期到 20 世纪 60 年代初期，语音和语言处理明显地分成两个阵营：一个阵营是符号派（symbolic），一个阵营是随机派（stochastic)。

符号派的工作可分为两个方面。一方面是 20 世纪 50 年代后期以及 20 世纪 60 年代初期和中期 Chomsky 等的形式语言理论和生成句法的研究，很多语言学家和计算机科学家的剖析算法研究，早期的自顶向下和自底向上算法的研究，后期的动态规划的研究。最早的完整的剖析系统是 Zelig Harris 的“转换与话语分析课题”（Transformation and Discourse Analysis Project, TDAP）。这个剖析系统于 1958 年 6 月至 1959 年 7 月在宾夕法尼亚大学研制成功（Harris,1962) 。另一方面是人工智能的研究。在 1956 年夏天，John Mccarthy, Marvin Minsky, Claude Shannon 和 Nathaniel Rochester 等学者汇聚到一起组成了一个为期两个月的研究组，讨论关于他们称之为“人工智能”（Artificial Intelligence, AI）的问题。尽管有少数的 AI 研究者着重于研究随机算法和统计算法（包括概率模型和神经网络），但是大多数的 AI 研究者着重研究推理和逻辑问题。典型的例子是 Newell 和 Simon 关于“逻辑理论家“(logic theorist）和“通用问题解答器”（general problem solver) 的研究工作。早期的自然语言理解系统都是按照这样的观点建立起来的。这些简单的系统把模式匹配和关键词搜索与简单试探的方法结合起来进行推理和自动问答，它们都只能在某一个领域内使用。在 20 世纪 60 年代末期，学者们又研制了更多的形式逻辑系统。

随机派主要是一些来自统计学专业和电子学专业的研究人员。在 20 世纪 50 年代后期，贝叶斯方（Bayesian method）开始被应用于解决最优字符识別的问题。Bledsoe and Browning (1959) 建立了用于文本识别的贝叶斯系统，该系统使用了一部大词典，计算词典的单词中所观察的字母系列的似然度，把单词中每一个字母的似然度相乘，就可以求出字母系列的似然度来。Mosteller and Wal lace (1964) 用贝叶斯方法来解决在《联邦主义者》（The Federalist）文章中的原作者的分布问题。

20 世纪 60 年代还出现了基于转换语法的第