深度学习笔记1:神经网络端到端学习笔记

原创 2017年01月03日 09:53:23

许多重要问题都可以抽象为变长序列学习问题(sequence to sequence learning),如语音识别、机器翻译、字符识别。这类问题的特点是,1) 输入和输出都是序列(如连续值语音信号/特征、离散值的字符),2) 序列长度都不固定,3)并且输入输出序列长度没有对应关系。因此,传统的神经网络模型(DNN, CNN, RNN)不能直接以端到端的方式解决这类问题的建模和学习问题。

解决变长序列的端到端学习,目前有两种主流的思路:一种是 CTC (Connectionist Temporal Classification,连接时序分类);另一种是 Encoder-Decoder(以下简称 En-De)的思路。CTC 最早用于手写体字符识别上[19],并且一度是语音识别的研究热点[20-23]。这里,我们关注的是后一种思路。

变长序列学习的 En-De 方法中,本文重点关注 Google 和 Yoshua Bengio 两个团队的工作。这两个团队这个方向上研究都比较早,也分别能代表性工业界和学界的风格。

下面首先介绍 Google 的 seq2seq 模型,然后介绍 Bengio 团队的 RNNenc 模型。可以看到两种模型基本思路一致,但在具体细节上,有着显著的不同。至于 attention-base encoder-decoder,则会在将来另文讨论。

1 seq2seq模型

1.1 模型结构

http://blog.csdn.net/jackytintin/article/details/53352063

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

几年的放纵,换来的是一生卑微(每个不想念书的学生,都会不约而同地拥有一个不读书就能成功的同学)

原文写的不错, 我比较认同。 鉴于文中有很多与人有关的照片, 我就不直接转载了, 百度上一搜, 到处都是。 我只摘录结尾的话:       有的人说,读书有什么用,我好多没读...

端到端是什么意思?

不久前, “燕姐”表扬了我, 原话是: 像你这样端到端负责的人现在越来越少了。 哈哈, 听到这话, 还是有点高兴的, 今天我来闲扯一下端到端。        客户需要一个求立方差的系统(假设是fu...

神经网络端到端序列学习(一)

许多重要问题都可以抽象为变长序列学习问题(sequence to sequence learning),如语音识别、机器翻译、字符识别。这类问题的特点是,1) 输入和输入都是序列(如连续值语音信号/特...

Khronos OpenSL ES

OpenSL ES - The Standard for Embedded Audio Acceleration OpenSL ES™ is a royalty-free, cross-plat...

Machine_Learning_Yearning 翻译与理解

在模型准确度不够好时,采用的策略有: 1、更多数据 2、尝试更大的神经网络模型 3、尝试更小的神经网络模型 4、更多的迭代 5、收集更多样化的数据集 6、尝试添加正则化,如L1,L2 7、改变神经网络...

端到端深度学习在自动驾驶汽车上的应用

在最近的一款汽车应用产品中,我们用卷积神经网络(CNNs)将车前部摄像头捕捉到的原始像素图映射为汽车的方向操控命令。这种强大的端到端技术意味着,只需要人们提供少量的训练数据,系统就能自动学会驾驶技术,...

文献阅读笔记——All about VLAD

是牛津视觉组2013年发表在CVPR上的一篇文章。 zhuy

VLAD特征(vector of locally aggregated descriptors)

《Aggregating local descriptors into a compact image representation》论文笔记 这篇论文中提出了一种新的图片表示方法,也就是VLAD特...

对“端到端”原则的理解

对“端到端”原则的理解前些天读了两篇论文,一篇是J.H.Saltzer,D.P.Read 和D.D.Clark 在80年代初发表的《The End-TO-End Arguments in System...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)