RNN/LSTM初认识

最新推荐文章于 2024-10-31 16:13:38 发布
最新推荐文章于 2024-10-31 16:13:38 发布
阅读量367 收藏
点赞数
分类专栏： 神经网络 文章标签： 机器学习 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43445142/article/details/106814046
版权

文章目录

RNN

用于处理序列信息，这里的序列是指单个个体之间有联系，比如说一句话（词汇之间互有联系），一个视频（有很多相关联的帧）。因为是重复地使用同一个网络，所以也被称为递归网络。

RNN的结构

RNN
x：输入
o：输出
s：隐藏层
U,V,M：权重矩阵
上图忽略了权重！

RNN的特点

上述的U,V,M是共享的，打个比方，就是处理一个句子，句子不动，而RNN像一个滑窗一样从句头滑到句尾。容易梯度消失或爆炸。CNN 是在空间上共享参数，RNN 是在时间上（顺序上）共享参数。在这里插入图片描述

变式与推导

原理分析代码变式可以参见这篇文章 你还没有看 ！！有空记录
https://zybuluo.com/hanbingtao/note/541458

LSTM

解决RNN的问题 引出了LSTM

LSTM的结构

在这里插入图片描述
在这里插入图片描述
z是计算得到的当前输入内容
zi是选择记忆信息的门控
zf是选择忘记的门控
zo是选择输出的门控
ct是当前阶段单元状态
yt是当前阶段输出
门控都用的是sigmoid函数，在0~1之间；z用的是tanh函数，-1 ~ 1之间。
在这里插入图片描述

阶段描述输入输出
选择忘记控制上一个状态的ct-1哪些需要留哪些需要忘门控zf /上一个状态的ct-1ct-1的有用部分
选择记忆选择当前输入的有用信息门控zi/当前输入z当前输入的有用信息 隐藏操作
输出得到当前状态的输出门控zo/ct当前阶段输出yt/

ConvLSTM

ConvLSTM核心本质还是和LSTM一样，将上一层的输出作下一层的输入。不同的地方在于加上卷积操作之后，为不仅能够得到时序关系，还能够像卷积层一样提取特征，提取空间特征。这样就能够得到时空特征。并且将状态与状态之间的切换也换成了卷积计算。
关于时空特征的理解：
Temporal characterization occurs when you have a series of images taken at different time. Correlations between the images are often used to monitor the dynamic changes of the object.

Spatial characterization applies when you are analyzing one image. It includes but not limited to the coordinates, intensity, gradient, resolution, to name only a few.

ConvLSTM与LSTM之间的区别

LSTM：
在这里插入图片描述在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
ConvLSTM:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
公式来源：: https://arxiv.org/pdf/1506.04214v1.pdf.

颜回啊颜回
关注
专栏目录
基于普通RNN、LSTM、加入atttention的LSTM的指代消解【代码在文末】
zik的博客
06-10 476
setlength{\parindent}{0cm}%取消首行缩进\textbf{摘要：}本文简单利用了基于普通RNN、LSTM和加入atttention的LSTM的神经网络来完成指代消解任务。首先本文对指代消解任务进行了一个简要的介绍。其次分别给出了RNN、LSTM和加入atttention的LSTM的框图、机理分析以及测试分析。第三是对比三种模型训练时梯度消失的情况和在指代消解任务上的性能对比。最后关于此次实践作业做了一个总结。\textbf{关键词：}普通RNN;LSTM;
pytorch学习笔记（7）：RNN和LSTM实现分类和回归
热门推荐
u013602059的专栏
07-22 1万+
参考文档：https://mp.weixin.qq.com/s/0DArJ4L9jXTQr0dWT-350Q 在第三篇文章中，我们介绍了 pytorch 中的一些常见网络层。但是这些网络层都是在 CNN 中比较常见的一些层，关于深度学习，我们肯定最了解的两个知识点就是 CNN 和 RNN。那么如何实现一个 RNN 呢？这篇文章我们用 RNN 实现一个分类器和一个回归器。 本文需要你最好对 RNN 相关的知识有一个初步的认识，然后我会尽可能的让你明白在 pytorch 中是如何去实现这一点的。 1、pytor
长短时记忆网络（LSTM）
gentelyang的博客
01-29 6760
在文本分类中，CNN由于主要提取的是局部特征而忽略了global特征，这容易造成一次多义的现象，进而对文本分类的精度产生一定的影响，而LSTM是RNN的一种变形，其处理的输入是序列化的输入，RNN由于容易更长久的记忆能力，容易造成梯度消失，所以可以利用lstm模型来防止序列化输入在传输时造成的梯度消失现象。利用BPTT算法来优化参数。   由于RNN能学习任意时间长度序列的输入，但随着输入的增...
【背景建模】基于时空特征(续1)
weixin_34256074的博客
06-04 147
参考文献　Background Subtraction with Adaptive Spatio-Temporal Neighborhood Analysis　VISAPP 2008 创新点： 1).将前景检测分为二层处理，分别是像素层和区域层，通区域层来消除误检的像素点． 2).在区域层处理时，区域窗口的大小是自适应的． 像素层处理： 与混合高斯模型处理方式一样． 区域层处理： 针...
聊聊RNN&LSTM
2401_85327249的博客
07-27 584
用于解决输入数据为，序列到序列(时间序列)数据，不能在传统的前馈神经网络(FNN)很好应用的问题。时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度，即输入内容的上下文关联性强。
直观地、透彻地理解RNN、LSTM与Attention，这三种结构
weixin_42269028的博客
08-16 3200
这三个结构（RNN，LSTM和Attention）的理解大多是使用图框进行通俗易懂的理解，至于具体的数学公式就不多赘述了，我需要有一个清晰地认识，至少我用到了LSTM以及Attention，我必须搞明白这是什么样的结构，这些结构在时间尺度上延展，有利于解决带有时序性质的问题。...
循环神经网络RNN 之 LSTM
lq_fly_pig的博客
09-04 1601
本篇文章主要是记录RNN 到LSTM的发展历程，以及文末给出一个能跑的demo示例 一. RNN 循环神经网络 1.1初识单层神经网络 1.2RNN的结构 1.3RNN的弊端 二. LSTM网络 三.双向LSTM网络 四.代码例子
自然语言处理中的RNN、LSTM、TextCNN和Transformer比较
2401_85343303的博客
06-13 905
RNN是一种用于处理序列数据的神经网络。与传统的神经网络不同，RNN具有循环结构，能够保留前一步的信息，并将其应用到当前的计算中。因此，RNN在处理时间序列数据和自然语言文本时非常有效。LSTM是一种特殊的RNN，通过引入遗忘门、输入门和输出门来解决普通RNN的梯度消失和梯度爆炸问题。LSTM能够更好地捕捉长时间依赖关系，因此在很多NLP任务中表现优异。TextCNN通过在文本数据上应用卷积神经网络（CNN）来捕捉局部特征。
Pytorch实现RNN，LSTM和GRU超详细代码参数解析
adczsw的博客
12-04 5992
本文针对使用pytorch实现RNN，LSTM和GRU对应参数的详细解析，相信通过阅读此文章，能够让你对循环神经网络有一个很清楚的认识。也希望你能耐心看完，相信会对你有很大的帮助。大佬直接跳过。这篇文章分析的会特别基础。 Pytorch官网提供的循环脑神经网络总共7个函数，nn.RNN、nn.LSTM、nn.GRU可以实现多层的循环神经网络，而nn.RNNCell、nn.LSTMCell、nn.GRUCell只提供一个网络层。 官网：LSTM — PyTorch 1.10.0 documentati
【NLP自然语言处理学习笔记04神经网络模型--- CNN、RNN、LSTM、GRU (含莫烦代码解析)】
CrazyDog_JJ的博客
07-04 1022
和LSTM一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。损失函数是各输出的损失加和；其中超参数是filter size=f和stride=s是自己设置的，这层没有要学习的参数。与LSTM相比，GRU内部少了一个”门“，参数比LSTM少，却能达到与LSTM相当的功能，我们常常觉得GRU更加”实用“！（3）filter的长度一般取3，一般会取基数，使得除法可以整除。记忆门🚪：要保留/忘记多少信息（类似于LSTM中的遗忘门🚪）（1）p为填充长度（为了保证对称一般用2p表示填充大小）；
十分钟掌握RNN与LSTM原理及其结构应用
Chile_Wang的博客
08-14 1556
Hello，又是一个分享的日子，今天博主给大家分享的是深度学习的RNN循环神经网络与RNN结构变种LSTM长短期记忆网络。本文内容概要：RNN原理RNN的各种结构...
RNN和LSTM在Python中的应用初探
RNN和LSTM简介 ## 1.1 什么是循环神经网络（RNN） 循环神经网络（Recurrent Neural Network，RNN）是一种具有记忆能力的人工神经网络，可以对序列数据进行建模和预测。相比于传统神经网络，RNN在处理序列数据时...
序列处理神器：RNN与LSTM在NLP中的十大应用技巧
在处理序列数据时，循环神经网络（RNN）和其变体长短期记忆网络（LSTM）是两个极为关键的技术。本章将为读者提供对这些技术的初步认识，从它们的基本概念到在NLP中的作用，为理解后续章节内容奠定基础。 ## 1.1 ...
自动化机器学习（AutoML）详解
jun778895的博客
10-26 1020
自动化机器学习（AutoML）是指使用计算机算法和技术来自动化机器学习模型的构建和优化过程，以减少对人类专业知识和经验的依赖。其核心理念是通过自动化技术简化机器学习的流程，使非专家用户也能够利用高级机器学习模型来解决实际问题。AutoML能够自动执行数据预处理、特征工程、模型选择、超参数优化等多个步骤，大大降低了机器学习的技术门槛。
LARGE SCALE GAN TRAINING FORHIGH FIDELITY NATURAL IMAGE SYNTHESIS
u013049912的博客
10-28 402
尽管最近在生成图像建模方面取得了进展，但成功地从复杂的数据集(如ImageNet)生成高分辨率、多样化的样本仍然是一个难以实现的目标。为此，我们在迄今为止尝试的最大规模上训练生成对抗网络，并研究这种规模特有的不稳定性。我们发现，将正交正则化应用于生成器使其适用于简单的“截断技巧”，通过减少生成器输入的方差，可以对样本保真度和多样性之间的权衡进行精细控制。我们的修改导致模型设置了新的状态，在类条件图像合成的艺术。
【机器学习】逻辑回归
2303_80346267的博客
10-25 1278
**逻辑回归**是一种用于二分类问题的统计学习方法，尽管名字带有“回归”，但它实际用于解决分类问题。与线性回归不同，逻辑回归预测的是数据点属于某个类别的概率。本教程将详细介绍逻辑回归的核心概念，包括模型的推导、损失函数、梯度下降优化、决策边界的可视化等。全程将使用`numpy`实现逻辑回归，最后我们会使用`sklearn`实现并验证结果。
【小白学机器学习28】 统计学脉络+ 总体+ 随机抽样方法
最新发布
奔跑的犀牛先生
10-31 767
我们自己当然可以自己定义一个我们全知的“整体”在这个角度，我们就是上帝但是这个知识“题目”“模型”“思想试验” ，我们可以在我们定义的世界里有上帝视角，这不奇怪。就和做题!= 解决社会上的真实问题一样，这些整体，一般并不是我们要面对的生活中的自然的/社会上的真正整体。类比的例子定距数据里，比如摄氏度，身高，我们也可以进行* /，因为我们预设了一个0点，温度0，身高0。那为什么说定距数据里，进行* /运算没有意义？
李宏毅生成对抗网络课程学习笔记（1）
weixin_43899239的博客
10-25 320
是一个神经网络，也就是一个函数，有输入和输出，他要做的就是根据输入的数据判断真假并打分。是一个神经网络，也就是一个函数，有输入和输出，他要做的就是根据输入的数据生成目标。可以将两个部分看作一个大的网络，固定前面参数调整后边参数，再固定后边调整前面参数。
GAN原理及代码实现
weixin_63569547的博客
10-28 839
GAN原理及代码实现 文章目录GAN原理及代码实现基本介绍原理损失函数数学推导基本推导交叉熵损失求解代码实现判别网络生成网络损失函数及优化器数据集准备开始训练综合代码参考文章 基本介绍 原理 GAN中文为生成对抗网络。主要由两个基础网络构成，生成网络G和对抗网络D。其中，生成网络主要用于生成新数据，其生成数据的基础往往是一组噪音或者随机数，而判别网络用于判断生成网络生成的数据和真实数据哪个才是真的。其原理图如下， 生成网络的目标是生成尽量真实的数据，最好能够以假乱真、让判别网络判断不出来，因此生成网络的学
Pytorch实现LSTM预测模型的考试习题测试系统
LSTM是一种特殊的循环神经网络（RNN），它非常适合于处理和预测时间序列数据中的重要事件，带有长期依赖性的数据。该系统被设计用于教育和考试环境中，使学生能够通过解决具体的习题来熟悉和掌握LSTM模型的构建、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值