深度学习笔记1:神经网络端到端学习笔记

原创 2017年01月03日 09:53:23

许多重要问题都可以抽象为变长序列学习问题(sequence to sequence learning),如语音识别、机器翻译、字符识别。这类问题的特点是,1) 输入和输出都是序列(如连续值语音信号/特征、离散值的字符),2) 序列长度都不固定,3)并且输入输出序列长度没有对应关系。因此,传统的神经网络模型(DNN, CNN, RNN)不能直接以端到端的方式解决这类问题的建模和学习问题。

解决变长序列的端到端学习,目前有两种主流的思路:一种是 CTC (Connectionist Temporal Classification,连接时序分类);另一种是 Encoder-Decoder(以下简称 En-De)的思路。CTC 最早用于手写体字符识别上[19],并且一度是语音识别的研究热点[20-23]。这里,我们关注的是后一种思路。

变长序列学习的 En-De 方法中,本文重点关注 Google 和 Yoshua Bengio 两个团队的工作。这两个团队这个方向上研究都比较早,也分别能代表性工业界和学界的风格。

下面首先介绍 Google 的 seq2seq 模型,然后介绍 Bengio 团队的 RNNenc 模型。可以看到两种模型基本思路一致,但在具体细节上,有着显著的不同。至于 attention-base encoder-decoder,则会在将来另文讨论。

1 seq2seq模型

1.1 模型结构

http://blog.csdn.net/jackytintin/article/details/53352063

版权声明:本文为博主原创文章,未经博主允许不得转载。

神经网络端到端序列学习(一)

许多重要问题都可以抽象为变长序列学习问题(sequence to sequence learning),如语音识别、机器翻译、字符识别。这类问题的特点是,1) 输入和输入都是序列(如连续值语音信号/特...
  • JackyTintin
  • JackyTintin
  • 2016年11月26日 15:33
  • 5505

端到端深度学习在自动驾驶汽车上的应用

在最近的一款汽车应用产品中,我们用卷积神经网络(CNNs)将车前部摄像头捕捉到的原始像素图映射为汽车的方向操控命令。这种强大的端到端技术意味着,只需要人们提供少量的训练数据,系统就能自动学会驾驶技术,...
  • javastart
  • javastart
  • 2016年09月02日 10:59
  • 3159

Deep Learning回顾之基于深度学习的目标检测

转自:https://www.52ml.net/20287.html 引言 普通的深度学习监督算法主要是用来做分类,如图1(1)所示,分类的目标是要识别出图中所示是一只猫。而在ILSVRC...
  • u012507022
  • u012507022
  • 2016年10月24日 09:23
  • 8629

对“端到端”原则的理解

对“端到端”原则的理解前些天读了两篇论文,一篇是J.H.Saltzer,D.P.Read 和D.D.Clark 在80年代初发表的《The End-TO-End Arguments in System...
  • collier
  • collier
  • 2008年12月18日 10:23
  • 11615

端到端深度学习与自动驾驶(含参考文献)

参考文献见最后。1.自动驾驶系统的分类 Rule based system基于规则的系统, 也有论文中将这样的方法叫做Mediated percepiton approach. Fully end-t...
  • u010821666
  • u010821666
  • 2017年12月21日 15:50
  • 368

什么是end-to-end神经网络?

来源:知乎 著作权归作者所有。 讨论: 张旭---------------------------------> 端到端指的是输入是原始数据,输出是最后的结果,原来输入端不是直接的原始数据,而是在...
  • langb2014
  • langb2014
  • 2016年11月03日 11:03
  • 6401

深度学习【8】基于循环神经网络(RNN)的端到端(end-to-end)对话系统

注:本篇博客主要内容来自:A Neural Conversational Model,这篇论文。http://blog.csdn.net/linmingan/article/details/51077...
  • linmingan
  • linmingan
  • 2016年04月06日 19:48
  • 2892

端到端是什么意思?

不久前, “燕姐”表扬了我, 原话是: 像你这样端到端负责的人现在越来越少了。 哈哈, 听到这话, 还是有点高兴的, 今天我来闲扯一下端到端。        客户需要一个求立方差的系统(假设是fu...
  • stpeace
  • stpeace
  • 2015年08月15日 22:43
  • 8139

关于深度学习中的分类器

因为之前一直都是用caffe做图像去噪、增强方面的工作,没太接触分类,上个学习会上通过报告学习了下关于分类的相关基础知识,为接下来分类的相关工作研究奠定下基础: 基础之分类器: 1、SVM:线性核...
  • wonengguwozai
  • wonengguwozai
  • 2017年03月31日 21:28
  • 853

系统学习深度学习(三十一)--CTC

论文: Offline Arabic Handwriting Recognition with Multidimensional Neural Networks Supervised Sequenc...
  • App_12062011
  • App_12062011
  • 2017年08月08日 11:15
  • 1808
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习笔记1:神经网络端到端学习笔记
举报原因:
原因补充:

(最多只允许输入30个字)