学了又忘又学的 RNN（一）

已于 2022-07-26 21:52:31 修改
阅读量687 收藏 2
点赞数
文章标签： 神经网络 人工智能 机器学习 算法 python
于 2021-11-22 23:23:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38754799/article/details/121484488
版权

大家好，我是小轩

这两天在忙着完成手头上的任务，没来得及更新

任务也涉及到NLP领域方面的知识，关于这个领域我就不做过多的介绍了，我也是个小白，现在连脚趾头都还没有迈过门槛

我要完成的就是用模型训练数据，之前的数据格式和前几天的数据格式不太一样，数据里边的实体类型和个数也不一样，所以我就得先对数据格式进行处理

另外，输入到模型的那部分代码也不一样，由于我论文的算法和代码实现不是很熟，所以就看了好几天代码...

由于之前的知识基本已经忘了，所以我准备再看一遍，也做做笔记，仅供大家参考和学习 

废话不多说了，开始今天的正题

  • 什么是循环神经网络RNN？

  • RNN是用来干什么的呢？

  • 和普通的神经网络有什么不同呢？

先看这段文字

那边窗子里亮起来的是什么光？那就是东方，朱丽叶就是太阳！起来吧，美丽的太阳！那是我的意中人

如果现在让你先背下来，然后让你倒着背一遍，可能就很难了

这就说明对于预测顺序排列很重要

按照文字顺序读，我们知道这段文字是什么意思，但是如果顺序打乱，就很难理解是什么意思了

a3334250d1ce66d63f88c1f8f5a3be46.png

看这张图片

对输入的四个数据进行预测最终的结果，这四个数据都是使用同一个神经网络NN

如果上面四个数据之间有关系，上面使用的神经网络并没有把这四个输入数据关联起来，只是对每个数据单独进行预测

9f3dd9f5b7d2c1736122b96aa0a57f10.png

所以普通的神经网络不能满足其需求

如何可以进行关联呢？

就是记住之前发生的事情

如何具有记住发生之前事情的能力呢？

在对第一个输入数据进行预测时，可以把分析的结果存入记忆，当分析下一个数据时候，会产生新的记忆，可以把上一个记忆调用过来对下一个数据进行预测，以此类推

看下面的图，画的比较粗糙，下面把神经网路换成RNN了， 每次RNN运算完之后，都会产生一个对于当前状态的描述state，简写成S(t)，表示在t时刻的结果

70229bc7ab4e01a251915b24a085cd5e.png

然后RNN在t+1时刻，会根据X(t+1)产生S(t+1)，此时的Y(t+1)是由S(t)和S(t+1)共同创造的

ab2d3c19be5ad16ffbb2cab41bfe96b6.png

上面两张图可以用下面这张表示，就是在t时刻计算的S(t)然后再到下一层和S(t+1)同时计算t+1时刻的结果 

b84137603bd137f512a35af426a7d2aa.png

其实RNN的结构形式有很多种

f35413bf255ee536761c6737509be55a.png

比如一句话，判断这句话的感情色彩是积极的还是消极的，可以使用下面这个，只需要在最后输出结果就可以了

0c148ebf7091d580f4efb6f6fd626aab.png

如果是对一张图片进行分析，可以使用一个输入Ｘ

e49d445706045e3261ceb0944999f09d.png

现在RNN有很多应用，所以有很多形式

比如让RNN描述照片、写论文等等

 

OnlyCoding…
关注
NLP学习笔记 之RNN SLTM GRUs
weixin_41147129的博客
03-09 1632
这学期开始学习nlp 准备开个专题 记录下学习过程， 今天来讲讲 rnn。 大家都知道 cnn在cv大放异彩，rnn则在 nlp领域被广泛使用。
深度学习（BOT方向） 学习笔记（2） RNN Encoder-Decoder 及 LSTM 学习
热门推荐
MebiuW的专栏
11-25 1万+
深度学习（BOT方向） 学习笔记（2） Sequence2Sequence 学习21 前言这个系列的笔记拖了很久了，一直没时间仔细详细写，一来是因为自己能力不足，学习进度也很慢，二是真的很懒，也没有什么outline，所以一直拖着没写，现在终于挤出第二篇来了。话说之前的第一篇，我很匆忙的写了写Sequence2Sequence RNN-Encoder-Decoder的框架，写的不是很认真，这篇博客则
学了又忘又学的 LSTM RNN（二）
木野归郎
11-23 649
点击上方“大话coding”，选择“星标”公众号重磅干货，第一时间送达大家好，我是小轩在上一篇文章学了又忘又学的RNN（一）中回顾了什么是RNN，以及RNN和普通神经网络有什么不一样RNN...
RNN与LSTM学习
JXDShimon的博客
11-02 926
RNN与LSTM的简单介绍
对近期的学习内容进行一个梳理总结
weixin_42269028的博客
08-16 584
对近期的学习内容的总结以及后续一个季度的学习规划。
FusionGAN代码学习（一）
qq_46165876的博客
07-23 2084
FusionGAN代码学习（一）
LSTM的学习
weixin_46376651的博客
05-26 1462
1、LSTM **长短期记忆（Long short-term memory, LSTM）**是一种特殊的RNN。主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。 相比RNN只有一个传递状态 h ，LSTM有两个传输状态，一个 c （cell state），和一个 h（hidden state）。（Tips：RNN中的 h对于LSTM中的 c ） 其中对于传递下去的 c改变得很慢，通常输出的c 是上一个状态传过来
RNN与LSTM入门学习
kisssfish的博客
04-20 337
循环神经网络 RNN（recurrent neural network） 特点：RNN对具有序列特性的数据非常有效 能挖掘数据中的时许信息及语义信息 序列特性：符合时间顺序、逻辑顺序或其他顺序的。如：人的语言、语音、股票 结构： 如果先不看W，展开，图就变成了 全连接神经网络结构： X是某个字或词的特征向量，作为输入层。上图是三维向量 U是输入层到隐藏层的参数矩阵。上图其维度是3x4 S是隐藏层的向量。上图维度是4 V是隐藏层到输出层的参数矩阵。上图是4x2 O是...
深度学习05-RNN循环神经网络
liaomin416100569的专栏
06-26 1万+
循环神经网络（Recurrent Neural Network，RNN）是一种具有循环连接的神经网络结构，被广泛应用于自然语言处理、语音识别、时序数据分析等任务中。相较于传统神经网络，RNN的主要特点在于它可以处理序列数据，能够捕捉到序列中的时序信息。RNN的基本单元是一个循环单元（Recurrent Unit），它接收一个输入和一个来自上一个时间步的隐藏状态，并输出当前时间步的隐藏状态。在传统的RNN中，循环单元通常使用tanh或ReLU等激活函数。
深度学习（十一）RNN入门学习
GarfieldEr007的专栏
01-27 1933
RNN入门学习 原文地址：http://blog.csdn.net/hjimce/article/details/49095371 作者：hjimce 一、相关理论 RNN(Recurrent Neural Networks)中文名又称之为：循环神经网络（原来还有一个递归神经网络，也叫RNN，搞得我有点混了，菜鸟刚入门，对不上号）。在计算机视觉里面用的比较少，我目前看过
循环神经网络RNN
YCCNUST的博客
06-30 829
机器学习-循环神经网络
[学习日志]深度学习-李宏毅 RNN 第二讲
gjh1716718326的博客
01-22 163
LSTM的训练过程 首先要保证训练集的顺序是有意义的(比如语义训练) 优化器也是用梯度下降,但是为了计算方便,发明了BP算法的进阶版本—BPTT 但是这里没有细讲，反正到时候都是直接调用的，大致和BP差不多 RNN的训练和一般网络不太一样，RNN的损失值对于参数的变化是非常陡峭的。 那么在训练时会有两种情况发生：踩在平原上 or 踩在悬崖上 踩在平原上，梯度很小，只能盲目Update，如果凑巧跨过悬崖的话Loss会剧烈变化 踩在悬崖上，梯度很大，很可能步子太大扯到蛋 那么要怎么解决这个问题呢？—Cl
想学习人工智能、大语言模型？这份学习路线与免费学习资源最值得推荐
DO_Community的博客
04-30 1221
这篇文章试图创建一份免费的课程路径，希望对大家学习有帮助。
深度学习揭秘：神经网络如何模拟人脑
最新发布
shelly聊AI的博客
11-03 635
通过对神经元模型、学习机制、分布式表示和并行计算等方面的模拟，深度学习可以自动地从数据中学习特征，实现对复杂数据的建模和预测。同时，我们也需要认识到，人脑是一个极其复杂的系统，深度学习只是对人脑的一种简化模拟，不能完全替代人脑。我们应该将深度学习与人类的智慧相结合，共同推动人工智能的发展，为人类社会带来更多的福祉。在当今科技飞速发展的时代，深度学习作为人工智能领域的核心技术之一，正以惊人的速度改变着我们的生活。现代计算机硬件的发展，如 GPU 和 TPU 等，为人工神经网络的并行计算提供了强大的支持。
用神经网络自动玩游戏
崎山小鹿的专栏
10-22 1723
CartPole是OpenAI gym中的一个游戏测试,车上顶着一个自由摆动的杆子，实现杆子的平衡，杆子每次倒向一端车就开始移动让杆子保持动态直立的状态.env = gym.make('CartPole-v1', render_mode="human") # 使用新版本时，需要指定 render_mode。return policy_net(state).argmax(dim=1).item() # 利用网络选择最优动作。clock.tick(FPS) # 设置帧率为 60 帧/秒。
Pytorch学习--神经网络--最大池化的使用
weixin_68930974的博客
10-28 657
Pytorch学习--神经网络--最大池化的使用（代码2包含dataset、DataLoader、nn.Module、Tensorboard、nn.MaxPool2d的使用）
自监督强化学习：对比预测编码（CPC）算法深度解析
hong161688的博客
10-31 359
自监督强化学习是一种结合自监督学习与强化学习优势的新兴方法。它利用数据的内在结构生成监督信号，从而减少对外部标签的依赖，使智能体能够在无标签或标签稀缺的环境中学习有效的表示。CPC算法则是自监督强化学习中的一种重要算法，它通过对比学习（Contrastive Learning）来提取全局特征，帮助智能体学习有用的状态表示。CPC算法由DeepMind提出，旨在减少无监督学习中对标签的依赖，同时最大化局部信息和全局特征之间的关联。
【电力系统】MATLAB环境下基于神经网络的电力系统稳定性预测
2401_84610415的博客
11-03 247
本研究基于神经网络方法，针对电力系统的稳定性问题提出了一种预测方法。利用MATLAB环境进行实验，构建了多层神经网络以预测电力系统在不同负荷情况下的稳定状态。实验结果表明，神经网络在准确预测电力系统的稳定性方面具有较好的性能。
神经网络与深度学习
huanfeng_AI的博客
10-30 1249
深度学习是机器学习的一个子领域，它专注于使用多层神经网络进行复杂的模式识别和特征提取。所谓“深度”指的是神经网络中隐藏层的数量，通常来说，深度学习模型包含多个隐藏层。这些多层结构使得深度学习模型能够学习到数据的深层特征，从而实现对复杂任务的精确处理。多层结构：深度学习模型通常包含多个隐藏层，这使得模型能够学习到数据的深层特征。非线性激活函数：深度学习模型使用非线性激活函数（如ReLU、sigmoid等），使得模型能够处理非线性问题。大数据支持。
循环神经网络RNN学习指南
RNN（Recurrent Neural Network，循环神经网络）是深度学习中的一种重要算法，广泛应用于自然语言处理、语音识别、图像处理等领域。 RNN的主要特点是能够处理序列数据，即能够处理变长的输入序列数据。这种能力使得...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值