神经网络（六）循环神经网络

最新推荐文章于 2024-07-30 09:32:13 发布
最新推荐文章于 2024-07-30 09:32:13 发布
阅读量1.9k 收藏 10
点赞数 1
分类专栏： 神经网络 学习笔记 文章标签： java servlet 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37878740/article/details/126460644
版权

一、增加记忆功能

        1.可计算问题

                其中函数不涉及记忆问题，可以使用前馈神经网络计算

                但是图灵机涉及记忆问题，需要为神经网络增加记忆能力

        2.如何增加记忆能力

                 ①时延神经网络

                        额外增加一个延时单元（用以存储网络的历史信息<输入、输出、隐状态等>）

                 ②自回归模型

                        用变量yt的历史信息来预测自己

                 ③有外部输入的非线性自回归模型

                                 f(.)为非线性函数，可以是前馈网络。Kx和Ky为超参数

 二、循环神经网络

        循环神经网络的神经元自带反馈，可以处理任意长度的时序数据。

         循环神经网络比前馈神经网络更符合神生物经网络的结构，被广泛应用在语音设备、预言模型、及自然语言生成等任务。

        将循环神经网络按时间展开

                 其在时间维上极深，同样存在梯度消失问题。在非时间维上较浅，需要适度增加其模型复杂度。

        1.简单循环神经网络

                 一个完全连接的循环网络是任何非线性动力系统的近似器。

                循环神经网络通用近似定理

                         s_t=g(s_{t-1},x)        y_t=o(s_t)

                         St为每个时刻的隐藏状态，xt为外部输入，g(.)为状态转换函数，O(.)为连续输出函数

                图灵完备

                        可以实现图灵机的所用功能（可以解决所有可以算问题），一个完全连接的循环神经网络可以近似于图灵完备

        2.应用到机器学习

                 ①序列到类别

                         将所有h进行平均/求和，再送入分类器之中

                ②同步的序列到序列模式

                         例如：中文分词、信息抽取(文本中抽取信息，形成知识)、语音识别--等容易出现分歧的问题

                ③异步的序列到序列模式

                         例如：机器翻译

        3.参数学习与长程依赖问题

                ①参数学习

                        以同步的序列到序列循环神经网络为例，给定一个学习样本(x,y)，长度均为T

                         时刻t的瞬时损失函数为：L_t=L(y_t,g(h_t))     g(h_t)为后验概率

                        总损失函数：L=\sum_{t=1}^TL_t 

                        计算梯度：Z_t=Uh_{t-1}+Wx_t+b       h_t=f(z_t)

                        \frac{\partial L}{\partial U}=\sum_{t=1}^T \frac{\partial L_t}{\partial U} =\sum_{k=1}^t\frac{\partial L_t}{\partial z_k}h^T_{k-1} =\sum_{k=1}^t \delta _t,h^T_{k-1}

                                \delta_{t,k}为第t时刻的损失对第k步隐藏神经元的净输入Z_k的导数

                        \delta_{t,k}=diag({f}'(z_k))U^T\delta _{t,k+1}

                                tips:diag(x,n)：矩阵x上的第n条对角线上的元素

                        随时间的反向传播算法(BPTT)

                        \frac{\partial L_t}{\partial U}=\sum_{k=1}^t \delta_{t,k}h^T_{k-1}

                        \delta_{t,k}=diag({f}'(z_k))U^T\delta _{t,k+1}=\prod _{\tau =k}^{t-1}(diag({f}'(z_\tau)))\delta_{t,t}\approx \gamma ^{t-k}\delta _{t,t}

                              \approx \gamma ^{t-k}\delta _{t,t}

                ②长程依赖问题

                        当\gamma>1且t-k\rightarrow \infty,\delta _t,k\rightarrow \infty时会出现梯度爆炸问题

                        当\gamma<1且t-k\rightarrow \infty,\delta _t,k\rightarrow \infty时会出现梯度消失问题

                        梯度爆炸和梯度消失统称为长程依赖问题，由于此问题，实际上只能学习到短周期的依赖关系。

                        原因是循环神经网络在时间维度上非常深

                        1.修正梯度爆炸问题

                                权重衰减、梯度截断

                        2.修正梯度消失问题

                                改进模型，使h_t与h_{t-1}之间的线性关系移动到g(x_t;\theta)上

                                改进方法①：令梯度\gamma=1

                                        将循环边改为线性依赖关系：h_t=h_{t-1}+g(x_t;\theta)     会削弱非线性性能

                                                其中g(x_t;\theta)=g(wx_t+b)

                                        增加非线性：h_t=h_{t-1}+g(x_t,h_{t-1};\theta)

                                                其中g(x_t,h_{t-1};\theta)=\delta(uh_{x-1}+wx_t+b)

        4.常见的循环神经网络

                门控机制：控制信息积累的速度。（选择性的加入新的信息，选择性遗忘）

                ①GRU（门控循环单元）

                        h_t=z_t\bigodot h_{t-1}+(1-z_t)\bigodot g(x_t,h_{t-1};\theta)

                        更新门z_t,值域为[0,1]，用于选择性遗忘。z_t=\sigma(w_zx_t+U_zh_{t-1}+b_z)

                        g(x_t,h_{t-1};\theta)=\hat{h_t}，使用tanh实现\hat{h_t}=tanh(W_hx_t+U_h(h_{t-1})+b_h)

                        改进\hat{h_t},使h_t仅与x_t相关（去除与h_{t-1}的联系）

                        重置门r_t，

                ​​​​​​​        ​​​​​​​        r_t=\sigma(W_rx_t+U_rh_{t-1}+b_r) ,\hat{h_t}=tanh(W_hx_t+U_h(r_t\bigodot h_{t-1})+b_h)

                门控循环单元

                ②LSTM（长短期记忆网络）

                 引入内部记忆单元c_{t-1}用于记忆，解放h_t,使其可以更好的进行非线性拟合

                i_t=\sigma(W_ix_t+U_ih_{t-1}+b_i)     f_t=\sigma(W_fx_t+U_fh_{t-1}+b_f)

                o_t=\sigma(w_ox_t+U_oh_{t-1}+b_o)

                !!! 可以使得ht=o_t\bigodot tanh(c_t)

                各种变体

         5.深层循环神经网络

                ①堆叠循环神经网络

                ②双向循环神经网络

 三、小结

        优点：引入记忆功能、图灵完备

        缺点：长程依赖问题、记忆容量问题、并行能力问题

四、将循环神经网络扩展到图

        序列是最简单的数据结构，更复杂的结构还有树和图

        1.递归神经网络

                用于处理树结构。

                 在一个有向无循环图共享一个组合函数

        2.图网络

                用于处理图结构。

                 更新序列：先更新点、再更新边、最后更新全局结点

                 对于任意图结构G(V,E)

                更新函数：m_t^{(v)}=\sum_{u \in N(v)}f(h^{(v)}_{t-1},h^{(u)}_{t-1},e^{(u,v)})        h_t^{(v)}=g(h^{(v)}_{t-1},m_t^{(v)}))

                读出函数：y_t=g(h_T|v \in V)​​​​​​​

ViperL1
关注
专栏目录
循环神经网络RNN的ppt
06-08
循环神经网络RNN的ppt
循环神经网络(RNN, Recurrent Neural Networks)介绍
热门推荐
我和我追逐的梦~~~
09-23 53万+
循环神经网络(RNN, Recurrent Neural Networks)介绍   这篇文章很多内容是参考：http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/，在这篇文章中，加入了一些新的内容与一些自己的理解。  循环神经网络(Recurrent Neural N
神经网络——循环神经网络（RNN）
Krisit的博客
02-19 1万+
讲述了循环神经网络的原理以及在MATLAB中的实际运用
循环神经网络（Recurrent Neural Network, RNN）
m0_70066267的博客
07-30 632
循环神经网络（Recurrent Neural Network, RNN）是一种专门用于处理序列数据的神经网络结构。与传统的前馈神经网络（Feedforward Neural Network）不同，RNN在隐藏层之间引入了循环连接，使得网络能够保存上一时间步的信息，并用于当前时间步的计算。这种结构使得RNN能够处理任意长度的序列数据，并广泛应用于自然语言处理（NLP）、时间序列预测、推荐系统等多个领域。
循环神经网络(Recurrent Neural Network)详解
weixin_60737527的博客
09-30 1万+
循环神经网络RNN的基本原理与基于Pytorch的实现方法
循环神经网络RNN
Kaiyuan_sjtu的博客
06-10 1万+
写在前面 在之前学的神经网络模型中，算法都是前向反馈的，模型的输出和模型本身没有关联关系。今天我们就讨论另一类输出和模型间有反馈的神经网络：循环神经网络(Recurrent Neural Networks ，以下简称RNN)，它广泛的用于自然语言处理中的语音识别，手写书别，时间序列分析以及机器翻译等领域。 1. RNN概述 在前面讲到的DNN和CNN中，训练样本的输入和输出是比较的确定的。...
【RNN】深入浅出讲解循环神经网络（介绍、原理）
程序星空实验室
05-31 5万+
1、RNN的背景 前馈神经网络不考虑数据之间的关联性，网络的输出只和当前时刻网络的输入相关。然而在解决很多实际问题的时候我们发现，现实问题中存在着很多序列型的数据（文本、语音以及视频等），现实场景如室外的温度是随着气候的变化而周期性的变化的，以及我们的语言也需要通过上下文的关系来确认所表达的含义。 这些序列型的数据往往都是具有时序上的关联性的，既某一时刻网络的输出除了与当前时刻的输入相关之外，还与之前某一时刻或某几个时刻的输出相关。而前馈神经网络并不能处理好这种关联性，因...
循环神经网络进阶
01-06
循环神经网络进阶 当时间步数较大或者时间步较小时，循环神经网络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸，但无法解决梯度衰减的问题。通常由于这个原因，循环神经网络在实际中较难捕捉时间序列...
人工智能-神经网络-循环神经网络
最新发布
09-03
循环神经网络通过使用带自反馈的神经元，能够处理任意长度的时序数据。 循环神经网络比前馈神经网络更加符合生物神经网络的结构。 循环神经网络已经被广泛应用在语音识别、语言模型以及自然语言生成等任务上 图灵...
基于循环神经网络实现黄金价格预测项目
06-17
基于循环神经网络实现黄金价格预测项目基于循环神经网络实现黄金价格预测项目基于循环神经网络实现黄金价格预测项目基于循环神经网络实现黄金价格预测项目基于循环神经网络实现黄金价格预测项目基于循环神经网络实现...
Matlab实现循环神经网络RNN
12-02
循环神经网络（Recurrent Neural Network，RNN）是深度学习领域中一种特殊的神经网络结构，尤其适用于处理序列数据，如自然语言、时间序列预测等。在Matlab中实现RNN，可以帮助我们理解其工作原理，并在实际问题中...
循环神经网络(超详细|附代码训练)
qq_73462282的博客
07-31 5022
如果用2-Gram进行建模，那么电脑在预测的时候，只会看到前面的『了』，然后，电脑会在语料库中，搜索『了』后面最可能的一个词。从上图我们可以看到，softmax layer的输入是一个向量，输出也是一个向量，两个向量的维度是一样的（在这个例子里面是4）。语言模型要求的输出是下一个最可能的词，我们可以让循环神经网络计算计算词典中每个词是下一个词的概率，这样，概率最大的词就是下一个最可能的词。例如，我们对标签『我』进行向量化，得到的向量中，只有第2019个元素的值是1，其他位置的元素的值都是0。
循环神经网络 Recurrent Neural Network ｜ RNN
JasonH2021的博客
07-07 5457
简单介绍了循环神经网络的基本概念，应用场景，优缺点，建模过程，类库方法和代码案例等
神经网络：循环神经网络基础学习
qq_50086023的博客
12-11 577
循环神经网络基础学习
RNN
对算法理论、算法工程落地、大数据工具等感兴趣
06-06 31万+
RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。首先我们要明确什么是序列数据，摘取百度百科词条：时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面的数据跟前面的数据有关系。 ...
5、循环神经网络（RNN ）
m0_56642803的博客
05-22 2392
最基本的单层网络，输入是x，经过变换Wx+b和激活函数f得到输出y。
循环神经网络的改进：多层RNN、双向RNN与预训练
RuizhiHe
07-06 6732
1. 前言 本文讲解循环神经网络（RNN）的改进方法，并使用改进的RNN实现电影评论情感分析。 本人全部文章请参见：博客文章导航目录 本文归属于：NLP模型原理与应用系列 前文：长短期记忆网络（LSTM）原理与实战 2. 多层RNN（Stacked RNN） 在深度学习领域，可以将许多全连接层堆叠，构成一个多层感知机(Multi-Layer Perception)，可以将许多卷积层堆叠，构成一个深度卷积网络。同样的，可以将许多RNN层堆叠，构成一个多层RNN网络。 RNN每读取一个新的输入xtx_txt​，
Recurrent Neural Network（循环神经网络）
长路漫漫亦灿灿
05-26 1364
循环神经网络（RNN），长短期记忆单元（LSTM）
RNN（Recurrent Neural Network）是怎么来的？
Taizhuang_的博客
12-17 1522
RNN（Recurrent Neural Network）是怎么来的？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值