LSTM:A SearchSpace Odyssey

最新推荐文章于 2022-06-24 15:20:24 发布
最新推荐文章于 2022-06-24 15:20:24 发布
阅读量554 收藏 2
点赞数
分类专栏： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43960843/article/details/106722540
版权
该研究分析了语音识别、手写识别和复调音乐建模中8种LSTM变体，通过随机搜索优化超参数，发现遗忘门和输出激活功能是LSTM的关键。所有变体并未显著优于标准LSTM，且超参数相对独立，提供了调整指导。
摘要由CSDN通过智能技术生成

论文链接：http://www.jiqizhixin.com/wp-content/uploads/2015/11/5.-LSTM_-A-Search-Space-Odyssey-.pdf

摘要

  本文首次对语音识别、手写识别和复调音乐建模这三个具有代表性的任务中的八个LSTM变体进行了大规模分析。使用随机搜索对每个任务的所有LSTM变体的超参数分别进行优化，并使用FANOVA框架评估其重要性。我们总结了5400次实验运行（约15年的CPU时间）的结果。
  我们的结果表明，没有一种变体能够显著改善标准LSTM架构，并证明遗忘门和输出激活功能是其最关键的组成部分。我们进一步观察到，所研究的超参数实际上是独立的，并为它们的有效调整提供了指导。

在这里插入图片描述

Vanilla LSTM

  它具有三个门（输入、忘记和输出）、块输入、单个单元（恒定误差旋转木马）、输出激活功能和窥视孔连接。块的输出反复连接到块输入和所有的门。下面给出香草LSTM层向前通道的矢量公式。
在这里插入图片描述
  这里xt是t时刻的输入向量，W是矩形输入权重矩阵，R是平方递归权重矩阵，p是窥视孔权重向量，b是偏移向量。函数σ、g和h是点态非线性函数：logistic-sigmoid用作门的激活函数，双曲正切通常用作块的输入和输出激活函数。两个向量的逐点乘

最低0.47元/天 解锁文章
二丽莎白
关注
专栏目录
[Paper note] LSTM: A Search Space Odyssey
chn13的博客
01-12 1886
paper note for LSTM a search space odyssey
[论文回顾] LSTM:A Search Space Odyssey
04-06 500
这篇论文所讲的内容就是作者借助三个著名的实验——TIMIT语音识别、手写字识别、复调音乐建模，来探索vanilla LSTM以及它的8个变体的性能差异；并且同时也探索了它们的共同影响因素。首先，对于vanilla LSTM可以参考2005年Graves&Schmidhuber的语音识...
【论文阅读笔记】LSTM: A Search Space Odyssey
寸先生的AI道路
01-04 1360
         本文是2017年发表在 IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS上的一篇文章，文章通过大量的对比实验，揭示LSTM及其变种中各种结构单元对LSTM网络性能的影响，此处避免照原文翻译。文章通过改变LSTM输入门、输出门、遗忘门等网络单元，改变学习率、网络大小、高斯噪声、动量等超参数，以及组合改变来进行了多组实...
《LSTM: A Search Space Odyssey》翻译 Klaus Greff, Rupesh K. Srivastava, Jan Koutn´ık, Bas R. Steunebrink
anananajiushiwo的博客
06-24 466
自1995年开始，循环神经网络的长短期记忆(LSTM)架构的几个变体已经被提出。近年来，这些网络已经成为各种机器学习问题的最先进的模型。这重新引起了人们对理解典型LSTM变体的各种计算组件的作用和效用的兴趣。在本文中，我们首次在三个代表性任务上大规模分析了8种LSTM变体:语音识别、笔迹识别和复调音乐建模。采用随机搜索方法分别优化每个任务的所有LSTM变量的超参数，并使用强大的fANOVA框架评估其重要性。总之，我们总结了5400次实验运行的结果(≈15年的CPU时间)，这使我们的研究成为LSTM网络上同类
《 LSTM: A Search Space Odyssey》IEEE-- 论文阅读
JNYxiaocao的博客
10-23 2553
论文链接：LSTM：A Search Space Odyssey 摘要：LSTM八中变体的三种应用：语音识别，手写字符识别，多风格音乐建模。每个应用中，分别用随机搜索（随机搜索用于在每个问题上寻找性能最好的超参数）优化超参数，并且使用fANOVA框架评估其重要性。经过多次试验证明，没有任何一个变体可以显著的改进标准的LSTM体系结构。 介绍：LSTMs主要用于时间问题上，用于笔迹识别，语言建模...
帮我查询关于LSTM的参考文献
02-21
我可以为您推荐一些关于LSTM的参考文献，包括：1. Hochreiter, S., & Schmidhuber, J.... LSTM: A search space odyssey. IEEE transactions on neural networks and learning systems, 28(10), 2222-2232.
循环神经网络到lstm的发展历程，lstm自己的发展历程，给出参考文献
最新发布
05-21
LSTM: A Search Space Odyssey. IEEE Transactions on Neural Networks and Learning Systems, 28(10), 2222-2232. 3. Chung, J., Gulcehre, C., Cho, K., & Bengio, Y. (2014). Empirical Evaluation of Gated ...
LSTM及其变体
MICSF的博客
07-09 1万+
由于LSTM和双向LSTM很多博客都已经有了详细的说明，这里就不再介绍了。这篇博客主要的是关于LSTM的一些变体的综述，每个综述都会附有论文下载链接。LSTM是一种特殊的RNN，它对RNN进行了改进，拥有输入门、遗忘门、输出门，从而使得网络可以记住更加久远的历史信息。论文：“Multi-Dimensional Recurrent Neural Networks ”：论文下载地址：http://ww...
LSTM网络的发展历程，给出参考文献
05-21
LSTM: A search space odyssey. arXiv preprint arXiv:1503.04069. [3] Graves, A., Fernández, S., Gomez, F., & Schmidhuber, J. (2006). Connectionist temporal classification: labelling unsegmented ...
超参数优化：随机搜索.zip
06-08
使用python进行随机搜索法在机器学习和深度学习的小案例，压缩包包括： (1)NHANES.xlsx; (2)随机搜索法.ipynb
LSTM: A Search Space Odyssey 论文学习
calvinpaean的博客
10-14 506
langle# Abstract 自从1995年长短记忆神经网络结构第一次被提出，到现在它已经有了若干个变体。近些年来，这些网络已经成为许多机器学习问题解决方案的state of the art 的模型。这需要人们去进一步地认识、理解LSTM及其变体的作用和其各种计算组成。这篇论文中，我们对3个任务上的8个LSTM变体进行了详细的分析：语音识别、手写字识别、复调音乐建模。对于每个任务，所有LSTM...
LSTM: A Search Space Odyssey||LSTM变种的效果研究
VIEO
03-27 1142
元学习论文总结||小样本学习论文总结 2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV2018 ICCV2017-2019 ICLR2017-2019 NIPS2017-2019 论文：https://arxiv.org/pdf/1503.04069.pdf 一、摘要： 文章基于三种场景（speech recognit...
lstm原理_LSTM: A Search Space Odyssey论文笔记
weixin_39895995的博客
12-04 149
摘要：自1995年以来，已针对循环神经网络提出了长期短期记忆（LSTM）架构的几种变体。近年来，这些网络已成为解决各种机器学习问题的最新模型。引起了人们对LSTM变体的作用和实用性的兴趣。在本文中，我们针对3种代表性任务，8个LSTM变体进行了首次大规模分析，包括：语音识别，手写识别和和弦音乐建模。使用随机搜索分别优化了每个任务的所有LSTM变体的超参数，并使用功能强大的fANOVA框架评估了它们...
《Long Short-Term Memory》翻译，Sepp Hochreiter， ¨urgen Schmidhuber．１９９７，９（８）：１７３５－１７８０
anananajiushiwo的博客
06-21 1172
目录摘要一.介绍2.1问题二.先前的工作2.1梯度下降法变量2.2时间延迟2.3时间常数2.4Ring的方法2.5Bengio et al的方法2.6卡尔曼滤波器2.7Second Order Nets2.8Simple Weight Guessing2.9Adaptive Sequence Chunkers三.常数误差反向传播3.1指数衰减的错误3.1.1传统BPTT(例如，Williams & Zipser, 1992)3.1.2《Hochreiter分析大纲》(1991，第19-21页)3.1.3直观
Python实现简易随机搜索算法（LSTM模型调参）
lhg665
05-30 3717
使用随机搜索算法寻找LSTM模型最优超超参数组合，以改善模型的性能和提高模型的预测精度。选取模型训练次数、模型隐含层的神经元个数和序列长度；根据实际模型设置三个超参数的范围。此处的随机搜索每次随机抽取27组超参数组合进行搜索，最后将模型的搜索结果保存到EXCEL文件中。 import openpyxl as op from random import choice from random import sample import pandas as pd import numpy as np from ke
LSTM模型理论总结（产生、发展和性能等）
热门推荐
shincling
10-23 11万+
从LSTM模型原文开始，对LSTM模型提出的动机，所采取的机制、设计的模型、算法进行了梳理。对现今采用的主流的LSTM进行了介绍，对LSTM的性能进行了阐述和总结。
知乎--LSTM（挺全的）
战斗蜗牛的专栏
05-12 7万+
首页发现话题 登录 加入知乎 有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？ 关注问题写回答 互联网 机器学习 深度学习（Deep
【深度学习】包教包会LSTM
shenxiaolu1984的专栏
11-15 8531
本文本着由浅入深原则介绍LSTM模块结构，使用流程图梳理公式，保证看完过目不忘，神清气爽。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值