论文翻译：Neural conditional random felds

文章地址2010年

Abstract

      我们提出了一个结构化预测的非线性图形模型。它结合了深度神经网络的强大功能，以马尔可夫网络的图形框架提取高级特征，产生了一个强大的可扩展的概率模型，我们将其应用于信号标记任务。

1. Introduction

      本文考虑了结构化预测任务，建立一个系统，给定（结构化）输入，预测结构化输出。它是生物信息学，词性标注，信息提取，信号（如语音）标注和识别等许多应用领域的通用框架。我们将重点放在信号和序列标记任务上，如语音和笔迹等信号。
      数十年来，隐马尔可夫模型（HMM）一直是处理顺序数据（例如用于分割和分类）的最普遍的方法。他们依赖于强大的独立性假设，并使用最大似然估计来学习，这是一个非判别准则。后一点来源于这样一个事实，即HMM是生成模型，它们定义了关于观察序列X和相关标签序列Y的联合概率分布。
      判别系统通常比生成模型更强大，更直接关注如何最小化错误率。 许多研究侧重于为HMM开发鉴别训练，例如最小分类误差(Juang&Katagiri，1992年)、Perceptron学习(Collins，2002年)、最大互信息(MMI)(Woodland&Povey，2002年)或最近的大幅度方法(Sha&索尔，2007年；Do&Arties，2009年)。
      更直接的方法是设计一个区分性的图形模型，模拟条件