深度学习笔记1:神经网络端到端学习笔记

原创 2017年01月03日 09:53:23

许多重要问题都可以抽象为变长序列学习问题(sequence to sequence learning),如语音识别、机器翻译、字符识别。这类问题的特点是,1) 输入和输出都是序列(如连续值语音信号/特征、离散值的字符),2) 序列长度都不固定,3)并且输入输出序列长度没有对应关系。因此,传统的神经网络模型(DNN, CNN, RNN)不能直接以端到端的方式解决这类问题的建模和学习问题。

解决变长序列的端到端学习,目前有两种主流的思路:一种是 CTC (Connectionist Temporal Classification,连接时序分类);另一种是 Encoder-Decoder(以下简称 En-De)的思路。CTC 最早用于手写体字符识别上[19],并且一度是语音识别的研究热点[20-23]。这里,我们关注的是后一种思路。

变长序列学习的 En-De 方法中,本文重点关注 Google 和 Yoshua Bengio 两个团队的工作。这两个团队这个方向上研究都比较早,也分别能代表性工业界和学界的风格。

下面首先介绍 Google 的 seq2seq 模型,然后介绍 Bengio 团队的 RNNenc 模型。可以看到两种模型基本思路一致,但在具体细节上,有着显著的不同。至于 attention-base encoder-decoder,则会在将来另文讨论。

1 seq2seq模型

1.1 模型结构

http://blog.csdn.net/jackytintin/article/details/53352063

版权声明:本文为博主原创文章,未经博主允许不得转载。

对“端到端”原则的理解

对“端到端”原则的理解前些天读了两篇论文,一篇是J.H.Saltzer,D.P.Read 和D.D.Clark 在80年代初发表的《The End-TO-End Arguments in System...
  • collier
  • collier
  • 2008年12月18日 10:23
  • 11016

神经网络端到端序列学习(一)

许多重要问题都可以抽象为变长序列学习问题(sequence to sequence learning),如语音识别、机器翻译、字符识别。这类问题的特点是,1) 输入和输入都是序列(如连续值语音信号/特...

端到端与点到点的区别

点到点是物理拓扑,如光纤,就必须是点到点连接,DDN专线也是,即两头各一个机器中间不能有机器。  点到点是网络层的,你传输层只认为我的数据是从a直接到e的,但实际不是这样的,打个比方,传输层好象领导,...

端到端是什么意思?

不久前, “燕姐”表扬了我, 原话是: 像你这样端到端负责的人现在越来越少了。 哈哈, 听到这话, 还是有点高兴的, 今天我来闲扯一下端到端。        客户需要一个求立方差的系统(假设是fu...
  • stpeace
  • stpeace
  • 2015年08月15日 22:43
  • 5623

端到端深度学习在自动驾驶汽车上的应用

在最近的一款汽车应用产品中,我们用卷积神经网络(CNNs)将车前部摄像头捕捉到的原始像素图映射为汽车的方向操控命令。这种强大的端到端技术意味着,只需要人们提供少量的训练数据,系统就能自动学会驾驶技术,...

什么是end-to-end神经网络?

来源:知乎 著作权归作者所有。 讨论: 张旭---------------------------------> 端到端指的是输入是原始数据,输出是最后的结果,原来输入端不是直接的原始数据,而是在...

基于循环神经网络(RNN)的端到端(end-to-end)对话系统

注:本篇博客主要内容来自:A Neural Conversational Model,这篇论文。         与传统的基于数据库匹配的对话\翻译系统不一样的是。基于RNN的end-to-end方法...

Deep Learning回顾之基于深度学习的目标检测

转自:https://www.52ml.net/20287.html 引言 普通的深度学习监督算法主要是用来做分类,如图1(1)所示,分类的目标是要识别出图中所示是一只猫。而在ILSVRC...

目标检测——深度模型总结

目标检测——深度模型总结简介传统目标检测(基于滑动窗口的检测)主要包括三步: 利用不同尺寸的滑动窗口框住图中的某一部分作为候选区域; 提取候选区域相关的视觉特征。 利用分类器进行识别。 深度学习相关的...

系统学习深度学习(三十一)--CTC

论文: Offline Arabic Handwriting Recognition with Multidimensional Neural Networks Supervised Sequenc...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习笔记1:神经网络端到端学习笔记
举报原因:
原因补充:

(最多只允许输入30个字)