最新RNN相关模型

最近在看最新RNN相关模型 找到很多论文

Fundamentals of Recurrent Neural Network (RNN) and Long Short-Term Memory (LSTM) network

递归神经网络（RNN）和长短期记忆（LSTM）网络的基础

要点•

递归神经网络（RNN）的定义来自延迟微分方程。
    •RNN展开技术在形式上被证明是近似无限序列。
    •可以从RNN逻辑上合理化长短期内存网络（LSTM）。
    •提供了完全推导LSTM训练方程式的系统图。
    •新的LSTM扩展：外部输入门和卷积输入上下文窗口

Improved Predictive Deep Temporal Neural Networks with Trend Filtering

带有趋势过滤的改进的预测深度时态神经网络

本文提出了一个基于深度神经网络和趋势过滤的新预测框架，该框架将嘈杂的时间序列数据转换为分段线性方式。 我们揭示了当趋势数据在时间上处理训练数据时，深度时空神经网络的预测性能会提高。 为了验证我们框架的效果，我们使用了三个深度时态神经网络，即用于时间序列财务数据预测的最新模型，并将其与包含趋势过滤作为输入特征的模型进行了比较。 在现实世界中多元时间序列数据上的大量实验表明，该方法是有效的，并且明显优于现有的基线方法。

	title	authors	主要内容	代码链接
CVPR 2018	Independently Recurrent Neural Network (IndRNN): Building A Longer and Deeper RNN	Shuai Li • Wanqing Li • Chris Cook • Ce Zhu • Yanbo Gao	递归神经网络（RNN）已被广泛用于处理顺序数据。 但是，由于众所周知的梯度消失和爆炸问题，RNN通常很难训练，并且很难学习长期模式。 开发了长短期记忆（LSTM）和门控循环单元（GRU）来解决这些问题，但是使用双曲线正切和S型作用函数会导致层上的梯度衰减。 因此，构建有效可训练的深度网络具有挑战性。 此外，RNN层中的所有神经元都纠缠在一起，其行为难以解释。 为了解决这些问题，本文提出了一种新型的RNN，称为独立递归神经网络（IndRNN），其中同一层中的神经元彼此独立并且跨层连接。 我们已经表明，可以轻松地调节IndRNN，以防止梯度爆炸和消失的问题，同时允许网络学习长期依赖关系。 此外，IndRNN可以与非饱和激活功能（例如relu（整流线性单元））一起使用，并且仍需经过严格培训。 可以堆叠多个IndRNN，以构建比现有RNN更深的网络。 实验结果表明，所提出的IndRNN能够处理非常长的序列（超过5000个时间步长），可用于构建非常深的网络（实验中使用的21层），并且仍然经过严格训练。 与传统的RNN和LSTM相比，使用IndRNN可以在各种任务上实现更好的性能。 该代码位于https://github.com/Sunnydreamrain/IndRNN_Theano_Lasagne。	https://github.com/TobiasLee/Text-Classification
	Review of Deep Learning Algorithms and Architectures	Ajay Shrestha, Ausif Mahmood	本文回顾了几种优化方法，以提高训练的准确性并减少训练时间。 我们深入研究了最近的深度网络中使用的训练算法背后的数学原理。 我们描述了当前的不足，增强和实现。 该评论还涵盖了不同类型的深度架构，例如深度卷积网络，深度残差网络，递归神经网络，强化学习，变分自动编码器等
	LSTM: A Search Space Odyssey	Klaus Greff, Rupesh Kumar Srivastava, Jan Koutnik, Bas R Steunebrink, Jurgen Schmidhuber	在本文中，我们针对三种代表性任务，对八个LSTM变体进行了首次大规模分析：语音识别，手写识别和和弦音乐建模。 使用随机搜索分别优化了每个任务的所有LSTM变体的超参数，并使用功能强大的VAriance VAriance框架评估了它们的重要性。 总的来说，我们总结了5400次实验运行的结果（约15美元的CPU时间），这使我们的研究成为LSTM网络上同类研究中规模最大的一次。 我们的结果表明，这些变体都不能显着改善标准LSTM体系结构，并且证明“遗忘门”和输出激活功能是其最关键的组件。 我们进一步观察到，所研究的超参数实际上是独立的，并为其有效调整导出了指导原则。
	LSTM Fully Convolutional Networks for Time Series Classification	Fazle Karim, Somshubra Majumdar, Houshang Darabi, Shun Chen	完全卷积神经网络（FCN）已显示出在对时间序列进行分类的任务上实现了最新的性能。 我们建议使用长期短期记忆递归神经网络（LSTM RNN）子模块增强全卷积网络，以进行时间序列分类。 我们提出的模型大大提高了全卷积网络的性能，同时名义上增加了模型大小，并且需要对数据集进行最少的预处理。 拟议的长期短期记忆全卷积网络（LSTM-FCN）与其他技术相比，可实现最新的性能。 我们还探索了注意力机制的使用，以通过注意力长期短期记忆完全卷积网络（ALSTM-FCN）改善时间序列分类。 注意机制允许人们可视化LSTM单元的决策过程。 此外，我们提出了改进方法，以增强训练模型的性能。 提供了对模型性能的整体分析，并与其他技术进行了比较。	https://www.paperswithcode.com/paper/lstm-fully-convolutional-networks-for-time
Physica D: Nonlinear Phenomena
IEEE Transactions on Knowledge and Data Engineering	Fundamentals of Recurrent Neural Network (RNN) and Long Short-Term Memory (LSTM) network	Alex Sherstinsky	本文的目的是在单个文档中解释基本的RNN和LSTM基础。 借鉴信号处理中的概念，我们从微分方程式中正式得出规范的RNN公式。 然后，我们提出并证明了一个精确的陈述，该陈述产生了RNN展开技术。 我们还回顾了训练标准RNN的困难，并通过一系列逻辑论证将RNN转换为“ Vanilla LSTM” 1网络来解决这些问题。 我们提供与LSTM系统有关的所有方程式及其组成实体的详细说明。 尽管非常规，但我们对表示法和表示LSTM系统的方法的选择强调易于理解。 作为分析的一部分，我们确定了丰富LSTM系统的新机会，并将这些扩展合并到Vanilla LSTM网络中，从而产生了迄今为止最通用的LSTM变体。 目标读者已经通过众多可用资源接触到RNN和LSTM网络，并且对另一种教学方法持开放态度。 一位机器学习从业者，寻求有关在实验和研究软件中实施我们新的增强LSTM模型的指南，也将发现本论文中的见解和推导也很有价值。
ICLR 2019	MV-RNN: A Multi-View Recurrent Neural Network for Sequential Recommendation		顺序推荐是网络应用程序的一项基本任务，由于用户反馈不足，通常会​​遭受项目冷启动问题。 当前存在三种流行的方法，它们分别基于协同过滤的矩阵分解（MF），马尔可夫链（MC）和递归神经网络（RNN）。 尽管被广泛使用，但它们有一些局限性。 基于MF的方法无法捕获动态用户的兴趣。 强大的马尔可夫假设极大地限制了基于MC的方法的性能。 基于RNN的方法仍处于整合附加信息的早期阶段。 基于这些基本模型，许多带有附加信息的方法只能验证以一种单独的方式合并一个模态。 在这项工作中，为了提出顺序建议并解决项目的冷启动问题，我们提出了一个多元递归神经网络（MV-RNN）模型。 有了潜在的功能，MV-RNN可以通过合并视觉和文本信息来缓解商品的冷启动问题。 首先，在MV-RNN的输入处，研究了三种不同的多视图特征组合，例如级联，加法融合和重构原始多模态数据融合。  MV-RNN应用循环结构来动态地捕获用户的兴趣。 其次，我们在MV-RNN的隐藏状态下设计了一个单独的结构和一个统一的结构，以探索一种更有效的方法来处理多视图特征。 在两个真实世界的数据集上进行的实验表明，MV-RNN可以有效地生成个性化排名列表，解决缺失的模态问题，并显着缓解物品冷启动问题。
CVPR 2018	Quaternion Recurrent Neural Networks	Titouan Parcollet•Mirco Ravanelli•Mohamed Morchid•GeorgesLinarès•Chiheb Trabelsi•Renato de Mori•Yoshua Bengio	四元数递归神经网络递归神经网络（RNN）是强大的体系结构，可用于建模顺序数据，这是因为它们具有学习短时序列和短时序列的能力。 序列基本元素之间的长期依赖关系。 然而，诸如语音或图像识别之类的流行任务涉及多维输入特征，其特征在于输入矢量的维之间强烈的内部依赖性。 我们提出了一种新颖的四元数递归神经网络（QRNN），以及四元数长期短期记忆神经网络（QLSTM），它考虑了四元数代数的外部关系和这些内部结构依赖性。 与封装类似，四元数允许QRNN通过将多维特征作为单个实体进行组合和处理来编码内部依赖性，而循环操作则揭示了组成序列的元素之间的相关性。 我们显示，在自动语音识别的实际应用中，QRNN和QLSTM均比RNN和LSTM取得更好的性能。 最后，我们证明，与实值RNN和LSTM相比，QRNN和QLSTM最多减少了所需自由参数数量的3.3倍，从而获得了更好的结果，从而使相关信息的表示更加紧凑。  （显示较少）	https://github.com/mravanelli/pytorch-kaldi
	Independently Recurrent Neural Network (IndRNN): Building A Longer and Deeper RNN	Shuai Li • Wanqing Li • Chris Cook • Ce Zhu • Yanbo Gao	递归神经网络（RNN）已被广泛用于处理顺序数据。 但是，由于众所周知的梯度消失和爆炸问题，RNN通常很难训练，并且很难学习长期模式。 开发了长短期记忆（LSTM）和门控循环单元（GRU）来解决这些问题，但是使用双曲线正切和S型作用函数会导致层上的梯度衰减。 因此，构建有效可训练的深度网络具有挑战性。 此外，RNN层中的所有神经元都纠缠在一起，其行为难以解释。 为了解决这些问题，本文提出了一种新型的RNN，称为独立递归神经网络（IndRNN），其中同一层中的神经元彼此独立并且跨层连接。 我们已经表明，可以轻松地调节IndRNN，以防止梯度爆炸和消失的问题，同时允许网络学习长期依赖关系。 此外，IndRNN可以与非饱和激活功能（例如relu（整流线性单元））一起使用，并且仍需经过严格培训。 可以堆叠多个IndRNN，以构建比现有RNN更深的网络。 实验结果表明，所提出的IndRNN能够处理非常长的序列（超过5000个时间步长），可用于构建非常深的网络（实验中使用的21层），并且仍然经过严格训练。 与传统的RNN和LSTM相比，使用IndRNN可以在各种任务上实现更好的性能。 该代码位于https://github.com/Sunnydreamrain/IndRNN_Theano_Lasagne。	https://github.com/TobiasLee/Text-Classification