《中国人工智能学会通讯》——6.27 超越模式识别

6.27 超越模式识别

直至最近，人工神经网络的突出表现大部分在于完成这些任务上，比如识别静态图像的模式。但是，另一类神经网络也正在变得有名——特别是在处理随着时间展开的事件方面。递归神经网络（Recurrent neural networks） 已 经 向 人 们 证 实了其有能力正确完成一序列计算（a sequence ofcomputations），典型的如语音、视频以及其他数据。序列数据（Sequential data）由单元组成——无论是一个音素或一个完整单词——一个单元按顺序跟在另一个单元后。递归神经网络处理输入的方式类似大脑运作方式。当处理感官输入时，在神经元之间传递的信号也会经常发生变化。在发出一系列指令让身体动起来以完成某个特定任务之前，这种内部神经状态的改变方式取决于当前的脑部输入（这些输入来自周围环境）。

递归网络可以预测句子中的下一个单词，还可将其用于一次性生成新的单词序列。他们也可以完成更复杂的任务：在“读’完一句话中所有单词后，网络可以猜测整个句子意思。然后，一个独立的递归网络会使用第一个神经网络的语义分析成果，将这个句子翻译成另一种语言。

上世纪 90 年代末和 21 世纪初，递归神经网络研究趋于平静。我的理论工作表明，在学会检索久远信息时，它们遇到了困难——处理这一序列中的最早元素。试想当你读到一本书最后一页时，试着逐字逐句背诵这本书的第一句。但是，一些进展已经减少了一些难题，方法是让这类网络学会储存信息以便让信息持续更长的时间。神经网络可以使用计算机的临时内存来处理多个、分散的信息碎片，比如包含在一个文档中不同句子里的思想。

经历漫长寒冬后，深度神经网络的强势复出并不仅仅是技术上的胜利。它也给科学社会学上了一课。它尤其强调了这样一种必要性：挑战技术现状，鼓励多样化研究组合(a diverse research portfolio )，它会支持那些暂受冷遇的研究领域。