《采用递归神经网络对标签不分段的序列数据进行连接时间分类》论文阅读

50人阅读 评论(0) 收藏 举报
分类:

https://blog.csdn.net/u011239443/article/details/79973269

论文地址:
http://people.idsia.ch/~santiago/papers/icml2006.pdf

摘要

许多现实世界中的序列学习任务需要从嘈杂、不分段输入数据标签序列的预测。在语音识别,例如,声信号转录成文字。递归神经网络(RNNs)是功能强大的序列的学习模型,似乎非常适合这样的任务。然而,由于它们需要预分割的训练数据和后处理将其输出转换为标签序列,因此它们的适用性迄今受到限制。本文提出了一种训练RNNs直接的不分段的序列标签新方法,从而解决该问题。TIMIT语料库上显示了它的优越性超过基线HMM和混合hmm-rnn。

介绍

标签不分段的序列数据是一个普遍存在的问题,在现实世界中的序列学习。在感知任务(例如手写识别、语音识别、手势识别)中尤其常见,在嘈杂的、实值的输入流中用离散的标签串来标注,例如字母或单词。

目前,图模型,如隐藏马尔可夫模型、条件随机域和它们的变体,是序列标签的主要框架。虽然这些方法已被证明是成功的许多问题,他们有几个缺点:(1)他们通常需要特定任务的知识很多,例如为HMM状态模型的设计,或为CRFs选择输入功能;(2)他们需要明确的(而且往往是不明确的)依赖的假设使得推理容易处理,例如,假设观测模型是独立的;(3)标准的HMM模型,训练是生成的,即使序列标签判别。

另一方面,递归神经网络(RNNs)不需要对数据的任何先验知识,不需要在输入和输出形式的选择。他们可以有区别的训练,其内部状态提供了一个强大的对时间序列建模的一般机制。此外,它们往往对时间和空间噪声有很强的鲁棒性。

到目前为止,然而,它已不可能采用直接序列标签型。问题是,标准的神经网络目标函数分别定义为在训练序列中的每个点;换句话说,它只能被训练做一系列独立的标签分类。这意味着训练数据必须预先分段,并且网络输出必须经过后期处理才能给出最终的标签序列。

目前,RNNs序列标签最有效的利用就是把他们与隐马尔可夫模型结合而成的所谓的混合方法。混合方法使用HMM模型的远程数据序列结构,与神经网提供本地化的分类。HMM组件能够在训练过程中自动分割序列,并将网络分类转换为标签序列。然而,继承了HMM模型的上述缺点,混合方法不能发挥序列建模RNNs的全部潜力。

本文提出了一种RNNs无需预先分割训练数据、无需处理后的输出序列数据、无需在一个单一的网络体系结构模型的标记的新方法。基本思想是把网络输出解释为所有可能的标签序列的概率分布。鉴于这种分布,目标函数可以直接得到最大化的标签正确的概率。由于目标函数是可微的,因此可以通过反向传播来训练网络。

接下来,我们称标签不分段的数据序列的任务为“时间分类”,我们称为此使用的RNNs“联结时间分类模型(CTC)”。我们将输入序列的每一个时间步长或帧的独立标记称为“帧分类”。

下一节提供了时间分类的数学形式,并定义了本文中所使用的错误度量。第3节描述了RNNs时间分类模型。第4节解释了CTC网络是如何训练的。5节比较CTC混合和HMM在TIMIT语料库系统。第6节讨论了CTC与其他时间分类器之间的一些关键区别,为今后的工作指明方向,并在第7节做总结。

时间分类器

这节主要就是在描述时间分类器的功能与评价方法,数据S每个样本是(x,z)对。这里以语音识别为例,则x是语音特征,z为识别后的文字。

评价方法为:

其中h为模型,S为测试集,Z为测试集的大小,ED在计算的是h(x)z的编辑距离。

连接时间分类

本节描述允许递归神经网络用于CTC的输出表示。关键步骤是将网络输出转换为标签序列上的条件概率分布。然后,网络可以通过为给定的输入序列选择最可能的标记来分类。

查看评论

递归神经网络

往期回顾 在前面的文章中,我们介绍了循环神经网络,它可以用来处理包含序列结构的信息。然而,除此之外,信息往往还存在着诸如树结构、图结构等更复杂的结构。对于这种复杂的结构,循环神经网络就无能为力了...
  • zb123455445
  • zb123455445
  • 2017-10-09 01:39:57
  • 419

BP、RBF神经网络分类

  • 2016年03月15日 15:01
  • 1.18MB
  • 下载

[学习笔记]人工智能-神经网络对数据进行分类,构建二维矩阵

1.对投喂数据进行极值获取,构造更多数据做准备 示例 plot_decision_regions(x, y, ppn, resolution=0.02) def plot_decision...
  • su749520
  • su749520
  • 2018-01-23 23:39:29
  • 295

RBF神经网络对iris鸢尾花数据集进行分类识别

RBF神经网络对iris鸢尾花数据集进行分类识别
  • FUBIN0000
  • FUBIN0000
  • 2017-05-05 18:21:14
  • 3172

序列标注问题中将分类标签引入RNN网络结构的尝试

本文讲了讲我们在解决序列标注问题中将分类标签引入RNN网络结构的一次不成功的尝试。...
  • malefactor
  • malefactor
  • 2016-09-06 19:32:29
  • 6177

利用BP神经网络对语音数据进行分类

最近给学院老师的一篇论文帮忙改进BP神经网络,由于最后要发表论文,神经网络必须自己手写,搞了几个晚上,总算把基础的BP神经网络写出来,接下来再把老师的改进算法实现就ok了。(当然那代码不能公开了)我这...
  • qq_30091945
  • qq_30091945
  • 2017-05-21 11:19:01
  • 2178

BP神经网络对iris数据集进行分类 MATLAB

  • 2015年05月11日 10:53
  • 2KB
  • 下载

bp神经网络对数据分类的实现(java代码,iris测试数据)

  • 2013年05月27日 15:04
  • 12KB
  • 下载

使用TensorFlow的递归神经网络(LSTM)进行序列预测

本篇文章介绍使用TensorFlow的递归神经网络(LSTM)进行序列预测。作者在网上找到的使用LSTM模型的案例都是解决自然语言处理的问题,而没有一个是来预测连续值的。 所以呢,这里是基于历史观察...
  • u010159842
  • u010159842
  • 2017-02-20 16:03:40
  • 6302

深度学习-利用递归网络判断序列趋势

这其实是一个利用LSTM递归网络进行序列分类的问题,根据数据趋势把数据分成6个类正常,循环,阶跃上升,阶跃下降,趋势向上,趋势向下 数据连接:https://archive.ics.uci.edu/m...
  • chencheng12077
  • chencheng12077
  • 2016-12-27 18:46:06
  • 1111
    个人资料
    专栏达人 持之以恒
    等级:
    访问量: 27万+
    积分: 4003
    排名: 9772
    博客专栏