rnn神经网络模型_循环神经网络——反对称RNN模型

最新推荐文章于 2024-05-10 11:51:49 发布
最新推荐文章于 2024-05-10 11:51:49 发布
阅读量344 收藏
点赞数
文章标签： rnn神经网络模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39936134/article/details/111611867
版权
本文深入探讨了循环神经网络RNN及其问题，如梯度消失，提出了一种新的改进模型——反对称RNN。通过常微分方程的视角，文章阐述了如何利用反对称矩阵来增强RNN的稳定性和长期记忆能力，同时对比了LSTM的性能。实验证明，反对称RNN在记忆任务和CIFAR-10分类中表现出色，有效解决了传统RNN的局限性。
摘要由CSDN通过智能技术生成

ba94986560ebc000854336cff5c0e4e4.png

本文主要介绍的是循环神经网络RNN及其研究进展，其中的主要内容来自于一篇2019年的ICLR论文，论文原文如下

AntisymmetricRNN: A Dynamical System View on Recurrent Neural Networks​arxiv.org

一、RNN与LSTM

在机器学习领域中，循环神经网络（RNN）可以说是一块相当重要的组成部分了，由于它能够在处理新数据的时候将之前的数据也考虑进来，所以RNN在序列数据的建模中有着广泛的应用，例如机器翻译任务，我们在翻译一个单词时，如果能将之前已经翻译输入的单词信息也考虑进去的话，那么翻译的肯定会更加准确。为了达到这样目的，RNN采用了如下图所示的结构，其计算过程如下式所示，其中U、W和V都是权重参数。

3ed53b89491b37e7fd882b61d48dd5ff.png
循环神经网络

可以看出，对于RNN，在计算隐层值

时，输入的不仅有样本数据
，还有RNN在之前的计算出来的隐层值
，从而将之前的信息也考虑了进来，这就是RNN的原理。

但是RNN也存在着一些问题，虽然它能够用于对序列数据建模，但是当序列较长的时候，它就会出现梯度消失和梯度爆炸的问题，而这样就使得它在实际应用中收到了很大的限制。为了解决这个问题，LSTM应运而生，它是RNN的一个变种，下面是原始RNN和LSTM的结构对比。

ecc3f6800cbc5a87b1e1bf7ca18f73f9.png
RNN与LSTM

可以看出，LSTM比原始的RNN多了一个传递状态

。在LSTM中，传递状态
一般改变得很慢，通常是上一个状态
加上一些数值；
则往往变化很大，这也是模型叫做LSTM（Long short-term memory）的原因。

下面是LSTM的内部结构，首先类似于原始RNN，将输入的

和之前的状态
拼接起来一起作为输入，不过LSTM不是直接计算
，而是先计算得到四个状态：
，其中的
是用来作为门控状态，左图中的
代表sigmoid激活函数。右图是计算过程，其中
最低0.47元/天 解锁文章
weixin_39936134
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习-神经网络-循环神经网络（一）：RNN（Recurrent Neural Network，循环神经网络；1990年）
u013250861的博客
07-21 1万+
为什么有了神经网络还需要有循环神经网络？在普通的神经网络中，信息的传递是单向的，这种限制虽然使得网络变得更容易学习，但在一定程度上也减弱了神经网络模型的能力。特别是在很多现实任务中，网络的输出不仅和当前时刻的输入相关，也和其过去一段时间的输出相关。此外，普通网络难以处理时序数据，比如视频、语音、文本等，时序数据的长度一般是不固定的，而前馈神经网络要求输入和输出的维数都是固定的，不能任意改变。因此，当处理这一类和时序相关的问题时，就需要一种能力更强的模型。循环神经网络（Recurrent Neural Net
【论文阅读】Recurrent Neural Network Regularization
weixin_53563701的博客
01-18 6825
关于RNN及其变体中dropout的应用
【图解】RNN模型结构详解、教程
最新发布
AIcar_lrm的博客
05-10 1463
如果目标是 输入今年1-12月份的房价，输出是预测的明年1月的房价，那此时循环神经网络经过隐含层后，可以接入一个全连接层，也可以将最后时刻隐含层的输出作为网络输出，分别如下图(a)(b)所示。然后，对于每个序列数据，RNN模型将其输入序列数据和当前的隐藏状态进行计算，并输出新的隐藏状态。在这个过程中，隐藏状态。并不会发生实际的改变，而是根据上一个序列的最终隐藏状态重新创建一个新的初始隐藏状态，用于处理下一个序列数据。中的参数是模型在最后一个时间步的隐藏状态值，可以在需要时用于下一个序列的预测或其他操作。
Paper：RNN之《Generating Sequences With Recurrent Neural Networks用循环神经网络生成序列》的翻译和解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
03-15 8624
利用长短期记忆递归神经网络，通过简单地预测一个数据点来实现长时间的复杂序列生成。该方法适用于文本(数据是离散的)和在线手写(数据是实值的)。然后，通过允许网络根据文本序列调整预测，将其扩展到手写合成。由此产生的系统能够生成多种风格的高度逼真的草书。递归神经网络(RNNs)是一类丰富的动态模型，被用于生成音乐[6,4]、文本[30]和动作捕捉数据[29]等领域的序列。通过一步一步地处理真实的数据序列并预测接下来会发生什么，可以训练RNNs来生成序列。假设预测是概率性的，
RNN3篇论文总结
lyhhh0316的博客
11-17 629
总结了3篇RNN论文内容，留一个笔记稿方便自己看
[NAACL16]RNN文法
算法码上来
09-03 337
原文链接： Recurrent Neural Network Grammars 论文地址：Recurrent Neural Network Grammars 代码地址： github 今天要介绍的这篇论文是来自NAACL16的Recurrent Neural Network Grammar...
人工神经网络—模型、分析与应用.rar_分析_神经_神经网络 模型_网络
09-20
常见的神经网络模型有感知器（Perceptron）、多层前馈网络（Feedforward Network，如反向传播网络Backpropagation）、卷积神经网络（Convolutional Neural Network, CNN）、循环神经网络（Recurrent Neural Network,...
人工智能之机器学习的循环神经网络RNN算法解析
01-19
前言：人工智能机器学习有关算法内容，请...引领循环神经网络RNN研究的主要是JuergenSchmidhuber和他的学生——其中包括SeppHochreiter，他发现了高深度网络所遇到的梯度消失问题，后来又发明了长短期记忆（LSTM）循环
基于循环神经网络(RNN)的古诗生成器
09-20
循环神经网络（RNN）是一种专门处理序列数据的深度学习模型，因其在处理自然语言、音乐等时间序列问题上的出色表现而广泛应用于机器翻译、文本生成、语音识别等领域。在这个项目中，RNN 被用来创建一个古诗生成器，...
tensorflw循环神经网络详解
05-04
【TensorFlow循环神经网络详解】 循环神经网络（Recurrent Neural Networks, RNNs）是一种针对序列数据处理的深度学习模型，特别适用于识别和理解时间序列中的模式。与卷积神经网络（CNNs）相比，虽然CNNs在图像...
_神经网络LSTM_时间预测MATLAB源码.zip
10-14
LSTM是一种特殊的循环神经网络（RNN），在处理序列数据，尤其是具有长期依赖性的数据时表现出色。在时间序列预测任务中，例如股票价格预测、天气预报或电力需求预测，LSTM能够捕获过去的模式并应用这些模式来预测...
ode_rnn.zip
02-12
用深度学习建模任何常微分模型。神经常微分方程（Neural ODE），将神经网络与常微分方程结合在一起，用ODE来做预测。不是逐层更新隐藏层，而是用神经网络来指定它们的衍生深度，用ODE求解器自适应地计算输出。
十种流行网络在cifar-10数据集上的应用
04-13
实验环境： - Python (3.5.2) - Keras (2.1.3) - tensorflow-gpu (1.4.1) 十种方法： - [LeNet-5 - Yann LeCun][2] - [Network In Network][3] - [Very Deep Convolutional Networks for Large-Scale Image Recognition][4] - [Deep Residual Learning for Image Recognition][5] - [Identity Mappings in Deep Residual Networks][6] - [Wide Residual Networks][7] - [Aggregated Residual Transformations for Deep Neural Networks][8] - [Densely Connected Convolutional Networks][9] - [Squeeze-and-Excitation Networks][10]
深度学习---循环神经网络RNN详解（LSTM）
进击的菜鸟
12-09 3543
上一节我们详细讲解了RNN的其中一个学习算法即BPTT，这个算法是基于BP的，只是和BP不同的是在反向传播时，BPTT的需要追溯上一个时间的权值更新，如下图，当前时刻是s(t),但是反向传播时，他需要追溯到上一个时间状态即s(t-1),s(t-2),....直到刚开始的那个时间，但是根据BP我们知道存在一个梯度消失的问题，因此追溯的层数越深，梯度消失的越厉害，基本上追溯到5个时间段时梯度就为0了，...
RNN资源博客 Recurrent Neural Network的经典论文、代码、课件、博士论文和应用汇总
slamer的专栏
11-07 3875
Awesome Recurrent Neural Networks A curated list of resources dedicated to recurrent neural networks (closely related todeep learning). Maintainers -Jiwon Kim,Myungsub Choi We have pages for othe
时序模型：循环神经网络（RNN）
xunyishuai5020的博客
02-22 1万+
1. 循环神经网络（RNN）定义 循环神经网络（recurrent neural network, RNN）是一类专门设计处理不定长序列数据的神经网络。 与使用一种新计算1作为核心的卷积神经网络不同，循环神经网络仍使用特征的线性组合作为计算核心，并使用共享参数策略使模型能泛化不同长度的序列数据。 2. 循环神经网络的由来：从全连接神经网络（DNN）到循环神经网络（RNN） 2.1 全连接神经网络的不足 最初，研究者直接将时间序列看作特征向量，将序列每一时刻的观测作为一种特征输入全连接神经网络，来预测序列的标
深度学习 《RNN模型》
qq_29367075的博客
10-07 2457
前言： 前几篇博文里面我们学习了传统的BP神经网络，你可以称为她是全连接的网络，也可以称之为DNN（denisty nextwork），也学习了卷积神经网络，在卷积神经网络里面还学习了池化等结构，并且在pytorch 上都拿MNIST数据集做了测试，总体感觉提取了特征后的CNN确实要比普通的神经网络效果要好一些。今天我们学习另外一种网络结构RNN，它具有什么特征结构呢？我们来一起学习下，只能说网络种类太多了。 一：RNN的介绍 之前我们学习的BP，CNN都具有一个共同的特点就是，每时每刻的输出都是且仅仅与当
貌离神合的RNN与ODE：花式RNN简介
Paper weekly
06-29 1750
作者丨苏剑林单位丨广州火焰信息科技有限公司研究方向丨NLP，神经网络个人主页丨kexue.fm本来笔者已经决心不玩 RNN 了，但是在上个星期思考时忽然意识到 RNN 实...
循环神经网络（RNN）
热门推荐
小朱小朱绝不认输的博客
01-10 2万+
在之前学习了全连接神经网络（DNN）模型，网络结构都是从输入层到隐含层再到输出层，层与层之间是全连接或部分连接的，但每层之间的节点是无连接的。 一、神经网络基础 神经网络可以当做是能够拟合任意函数的黑盒子，只要训练数据足够，给定特定的x，就能得到希望的y，结构图如下： 将神经网络模型训练好之后，在输入层给定一个x，通过网络之后就能够在输出层得到特定的y，那么既然有了这么强大的模型，为什么还需要RNN（循环神经网络）呢？ 二、为什么需要RNN（循环神经网络） 考虑这样一个问题，如果要预测句子的下一个单词是什么
基于循环神经网络的股票收益率分析有什么文献可以参考吗
08-12
### 回答1： 基于循环神经网络的股票收益率分析是近年来比较热门的研究领域，有很多相关的文献可以参考。以下是一些常见的文献： 1. Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation, 9(8), 1735-1780. 这是循环神经网络（RNN）中的一种特殊类型——长短期记忆网络（LSTM），是目前应用最广泛的循环神经网络之一，可以用于时间序列数据的建模和预测。 2. Brownlee, J. (2017). Time Series Forecasting with Recurrent Neural Networks. 这是一本介绍循环神经网络在时间序列预测中应用的实用指南，其中也包括了股票收益率分析的案例和代码实现。 3. Chen, Q., & Wang, S. (2020). Stock price prediction using LSTM and 1D convolutional neural network. 该文献提出了一种基于LSTM和一维卷积神经网络（CNN）的混合模型，用于预测股票价格和收益率。 4. Liu, X., Zhou, Y., & Gao, J. (2021). A hybrid deep learning model for stock price prediction based on RNN, attention mechanism and technical analysis. 该文献提出了一种基于RNN和注意力机制（attention mechanism）的混合模型，结合技术分析指标对股票价格和收益率进行预测。 以上仅是部分文献，您可以在学术搜索引擎上查找更多相关文献，以便深入了解基于循环神经网络的股票收益率分析。 ### 回答2： 在基于循环神经网络（RNN）的股票收益率分析方面，有一些文献可以参考。以下是一些相关的研究论文： 1. "A Recurrent Neural Network Model for Stock Market Predictions" （Zhang, G., et al.，2018）- 这篇论文介绍了一个基于RNN的股票市场预测模型，通过输入过去的股价数据，使用RNN进行预测分析。 2. "Stock Price Prediction Based on LSTM Recurrent Neural Network"（Fischer, T., & Krauss, C.，2018）- 文中提出了一种基于长短期记忆（LSTM）神经网络的股票价格预测模型，通过学习历史股价数据中的模式和趋势，进行股价预测。 3. "Stock Market Forecasting Using Recurrent Neural Networks"（Hammoudeh, S., et al.，2019）- 该论文介绍了使用RNN进行股市预测的方法，并结合技术分析指标和经济基本面指标进行了综合分析。 4. "Evaluating the Predictive Accuracy of Volatility Models using Neural Networks" （Safa, A. M., et al.，2016）- 这篇论文讨论了使用RNN来预测股票波动性的方法，并对传统模型和RNN进行了比较。 这些论文提供了基于RNN的股票收益率分析的理论基础和方法。需要注意的是，股票市场是复杂的，预测股票收益率是一项具有挑战性的任务，单独使用RNN可能无法准确预测。因此，在实际应用中，还需要综合考虑其他因素，如技术指标、基本面因素等，以提高预测准确性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值