RNN&LSTM&Transformer&CNN

已于 2022-10-11 14:21:15 修改
阅读量3.6k 收藏 27
点赞数 6
分类专栏： python项目 #学习记录 文章标签： 深度学习 rnn lstm transformer cnn
于 2022-03-22 15:41:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45928096/article/details/123660580
版权

文章目录

1 为什么引入RNN？

对于图片分类，输入的每张图往往都是独立的，前后无关，这时CNN就够了。
但是对于很多语言类的问题，输入的语境和语序都是很重要的此时要用到RNN，RNN考虑了时序的变化，让神经网络有了某种记忆的能力。
在这里插入图片描述
在这里插入图片描述
RNN的训练和传统的神经网络一样，也采用误差反向传播加上梯度下降来更新权重，只不过计算隐藏层时它要引入之前不同时刻的数据，就像人的记忆难以持久一样，这种时序上的依赖当然不能无限延伸，虽然建立了不同时刻隐藏层记忆的联系，实现了记忆的效果但只是基于前一时刻短期记忆，通常情况下超过十步就不太行了。
即普通RNN无法回忆起久远记忆的原因：梯度消失或者梯度爆炸
①梯度消失
试想一下在反向传播过程中，算出的权重W若小于1，则经过很多层反向传播的误差逐渐缩小（很多个小于1的数相乘接近0），到了第一层基本不会发生变化，即学习不到内容。
在这里插入图片描述
②梯度爆炸
试想一下在反向传播过程中，算出的权重W若大于1，则经过很多层反向传播的误差逐渐增大（很多个大于1的数相乘接近正无穷），到了第一层会发生很大的变化，学习的也不会很精确。
在这里插入图片描述
注意！！
RNN共享一套参数，其梯度消失的真正含义不是连乘效应，而是远距离忽略不计，近距离被梯度主导。

为了解决梯度消失或者梯度爆炸导致普通的RNN无法回忆起久远记忆的问题，在RNN基础上提出了LSTM。

2 LSTM 长短期记忆

LSTM的实质是：过滤重要特征 忽略无关信息
LSTM和普通RNN相比多出了三个控制器：输入、输出、忘记
可以形象地理解为LSTM加了一个日记本
在这里插入图片描述
在这里插入图片描述
在每一部分的日记本训练中，如上图：

f1忘记门：Sigmoid 函数在0~1之间矩阵元素相乘时会抹掉值为0的元素，删除。相当于选择性遗忘了部分记忆：过滤重要特征 忽略无关信息
f2输入门：像一支铅笔，再次根据昨天的记忆和今天的输入决定在日记本上增加哪些记录，数学语言描述sigmoid再次对记忆进行选择 tan不是遗忘，而是相当于把这两天发生的事情进行梳理和归纳。

和RNN相比LSTM引入了更多的参数矩阵，因此训练起来更麻烦一些，但依然可以用梯度下降法。由于深度发掘了数据时序上的有趣关联LSTM在某种程度上模拟了大脑关注重要片段，而忽略无关信息。

LSTM与卷积神经网络CNN和反向传播一起，构成了人工智能20多年来发展最重要的三大基石。

3 Transformer

在Transformer中，编码器&解码器架构表现得最好。
在这里插入图片描述

3.1 编码器和解码器

编码器：对原始输入进行编程，生成机器学习可以理解的向量。多个enconder结构相同，参数相互独立。
解码器：拿到编码器输入，拿到一个m序列。
编码器和解码器的区别：
①编码器可以一起生成（根据一定的策略生成一次性将一批数据转化为机器可以理解的向量）
②解码器是一个个生成的（类比翻译：我、爱、你依次有顺序生成）
③解码器使用自回归，即在过去时刻的输出可以作为当前时刻的输入（y1~yt可以对yt+1有影响）

Transformer结构

由N个编码器和解码器叠加而成。
在这里插入图片描述
其中编码器的输出作为解码器的输入，下图为编码器结构
在这里插入图片描述
解码器中的Masked Muti-Head Attention 表明了此时生成的数据不受后面生成数据的影响（yt不受yt+1的影响，只受y1~yt-1的影响）。

3.2 layernorm & batchnorm

Batchnorm每次把列（特征）均值变为0方差变为1，再加两个学习的参数。
layernorm对每个样本做均值为0方差为1的归一化操作。
在这里插入图片描述
但是在三维及以上的空间中但是每个样本序列的长度不一定相同，没有的列就变成0，所以用layernorm。
Layernorm不用存全局变量，更好用。
在这里插入图片描述

3.3 注意力

注意力函数（query、keys、values、output）是一个将一个query和一些key-value对映射成一个输出output的函数，具体output是value的加权和（维度相同）。权重是query和value对应的key的相似度。不同的注意力机制有不同的算法。最简单的注意力机制：
在这里插入图片描述
多头注意力
在这里插入图片描述
在这里插入图片描述
Mask保护后不用前的数据(yt时刻的数据与yt+1无关)

3.4 position encoding位置编码

在这里插入图片描述
和RNN不同，Attention把整个序列里面的信息抓取出来做一个汇聚。但是他们关注点都在如何有效地使用序列信息，但是Attention不会利用时序信息，进而引出position encoding。
Transformer一般需要为节点加上位置编码信息，必要时为图增加全局编码。

4 Transformer VS CNN

CNN 是SA（自注意力）的一个特例。

4.1 CNN的优缺点

①
如果CNN想获得更大的感受野（全局的信息），就必须堆叠很多层卷积，然而不断地卷积池化操作有些麻烦而且效果不一定好。
而Tranformer浅层就可以捕获较大范围信息，全局信息丰富，可以更好地理解整个图像。
②
卷积的优点是可以做多个输出通道，每个输出通道可以识别不一样的模式（比如眼睛、鼻子、嘴巴，学习到不同抽象的特征），对应的提出了多头注意力机制（每一个头识别不一样的模式）。

4.2 Tranformer的优缺点

transformer的优点是对大数据适配能力强；缺点是训练数据非常多才可以

4.3 Tranformer vs CNN

在这里插入图片描述
关于TF很全的一个解释：
https://wmathor.com/index.php/archives/1438/

来包番茄沙司
关注
  • 6
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
DL-Paper精读：LSTM + Transformer 架构模型
星月野的博客
07-11 5032
Transformer Language Models with LSTM-based Cross-Utterance Information Representation https://arxiv.org/abs/2102.06474​arxiv.org Background 近来，源于某个神奇的需求，需要研究Transformer和LSTM相结合的模型架构。这两者作为自然语言领域两个时代的王者，似乎对立的戏份远大于合作。常理来说，在Transformer刚刚被提出来的一两年内，应该有很多关于..
请你说说CNN，RNN，LSTM，Transformer之间的优缺点
热门推荐
yyaannnnnnnn的博客
01-11 1万+
CNN概念： 传统意义上的多层神经网络是只有输入层、隐藏层、输出层，其中隐藏层的层数按需决定。而卷积神经网络CNN，在传统的多层神经网络基础上，全连接层前面加入了部分连接的卷积层、激活层和池化层操作，使得实际应用场景中能够构建更加深层、功能更强大的网络。
深入对比：Transformer与LSTM的详细解析
最新发布
qlkaicx的博客
06-05 2055
LSTM和Transformer各自具有独特的优势，并在不同的任务中发挥着重要作用。在深度学习和自然语言处理（NLP）领域，Transformer和长短时记忆网络（LSTM）是两个备受瞩目的模型。LSTM是一种特殊的循环神经网络（RNN），旨在解决传统RNN在处理长序列时遇到的梯度消失和梯度爆炸问题。Transformer是一种基于自注意力机制的模型，它摒弃了RNN的循环结构，完全依赖于自注意力机制来处理序列数据。Transformer在多个NLP任务中都取得了显著的效果，尤其是在机器翻译等任务中。
神经网络结构——CNN、RNN、LSTM、Transformer ！！
不要给自己设限，尝试更多可能（思所向 皆可往）
03-04 5774
本文将从什么是CNN？什么是RNN？什么是LSTM？什么是Transformer？四个问题，简单介绍神经网络结构。神经网络结构通过卷积和池化操作有效地处理高维图像数据，降低计算复杂度，并提取关键特征进行识别和分类。网络结构用来提取图像的局部特征。用来大幅降低参数量级，实现数据降维。用来输出想要的结果。卷积神经网络（CNN）解决问题卷积操作提取图像特征，如边缘、纹理等，保留图像特征。池化操作大幅降低参数量级，实现数据降维，大大减少运算量，避免过拟合。工作原理。
RNN、LSTM、GRU序列模型对比
Antai_ZHU的博客
03-03 1278
AI有温度立志将每一个知识点讲精讲细，帮助您利用碎片时间快速学习、查漏补缺，成为您的AI口袋学习书。
深度学习基础（人工神经网络、CNN、RNN、lstm）
06-12
人工神经网络（Artificial Neural Networks，ANN）、卷积神经网络（Convolutional Neural Networks，CNN）、循环神经网络（Recurrent Neural Networks，RNN）以及长短时记忆网络（Long Short-Term Memory，LSTM）是...
即将取代RNN结构的Transformer
01-27
此外，RNN的门控机制如LSTM和GRU虽然能有效缓解梯度消失问题，但也导致了计算速度的减缓。当序列长度增加时，RNN的编码向量C可能无法充分捕获所有输入的信息，从而造成信息丢失。 相比之下，卷积神经网络（CNN）...
cnn+lstm+attention对时序数据进行预测
02-18
cnn+lstm+attention对时序数据进行预测 博客链接： ...1、摘要 本文主要讲解：bilstm-cnn-attention对时序数据进行预测 ...RNN-＞LSTM-＞BiLSTM神经网络结构 注意力机制----transformer中注意力机制 使用Python和Kera
基于CNN+RNN+GCN+BERT的中文文本分类Python实现源码.zip
04-23
然而，基本的RNN存在梯度消失问题，长距离依赖处理不佳，因此在实际应用中通常使用LSTM（长短时记忆网络）或GRU（门控循环单元）等变体。 3. **图卷积网络（GCN）**：在文本分类中，GCN可以用于捕捉文本的结构信息...
RNN与LSTM的对比分析
weixin_45268911的博客
07-20 7567
RNN与LSTM 一、RNN 1. 为什么需要RNN？ 在这之前，我们已经学习了基础的神经网络，它们可以当做是能够拟合任意函数的黑盒子，只要训练数据足够，给定特定的x，就能得到希望的y；但基础的神经网络只在层与层之间建立了权连接，也就是说，他们都只能单独的去处理一个个的输入，前一个输入和后一个输入是完全没有关系的。而在实际应用中某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。RNN最大的不同之处就是在层之间的神经元之间也建立的权连接，相比一般的神经网络来说，他能够处理序列变化的数据
LSTM+Transformer混合模型时间序列预测实战教学
08-14 5213
LSTM+Transformer混合模型时间序列预测实战教学 毕业设计
RNN和LSTM详解
a402498234的博客
03-02 741
循环神经网络（Recurrent Neural Network，RNN）是一种用于处理序列数据的神经网络。相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。
自然语言处理之LSTM和BERT模型
WYXHAHAHA123的博客
07-06 8675
Transformer：attention is all you need 在序列建模和序列翻译问题中经常使用的网络模型是RNN和LSTM，GRU。RNN处理序列问题时不能并行，将RNN作为解码器时，在第t个时间节点的prediction vector将与在t-1时刻的hidden state有关系，导致计算效率很低。所提出的transformer能够捕捉短时间的局部信息和长时间的单词依赖关系，...
Block Recurrent Transformer：结合了LSTM和Transformer优点的强大模型
deephub
07-08 5412
在以前的文章中，我们讨论过Transformer并不适合时间序列预测任务。为了解决这个问题Google创建了Hybrid Transformer-LSTM模型，该模型可以实现SOTA导致时间序列预测任务。但是我实际测试效果并不好，直到2022年3月Google研究团队和瑞士AI实验室IDSIA提出了一种新的架构，称为Block Recurrent Transformer [2]。从名字中就能看到，这是一个新型的Transformer模型，它利用了lstm的递归机制，在长期序列的建模任务中实现了显著改进。在介
利用深度学习进行汇率预测：LSTM与Transformer模型的应用实践
sybh的博客
10-19 371
外汇市场是一个充满波动性的金融市场，吸引了众多交易者和投资者。为了做出明智的决策，预测不同货币之间的汇率变动至关重要。深度学习模型，如长短时记忆网络（LSTM）和Transformer，已经成为处理时间序列数据的强大工具。在本博客中，我们将介绍如何使用这两种深度学习模型来进行汇率预测，提供清晰的思路和相应的Python代码，以帮助您理解和应用这一任务。
使用深度学习模型 LSTM 和 Transformer 预测股票价格
sybh的博客
10-19 1043
在本篇博客中，我们将探讨如何使用深度学习模型，具体来说是长短时记忆网络（LSTM）和Transformer，来预测股票价格。在这一步，我们将对数据进行初步的探索，以了解数据的特征和趋势。在每个步骤中，我们将提供清晰的思路和相应的Python代码示例，以便读者可以跟随实际示例进行操作。在这里，我们将尝试使用LSTM和Transformer两种模型，然后比较它们的性能。在数据探索的过程中，我们可以观察到股价和交易量的趋势以及它们之间的关系。接下来，我们将进行数据预处理，包括日期的转换和缺失值的处理。
rnn、lstm、cnn、transformer
Woody453253的博客
04-15 1391
卷积层虽然可以显著减少网络中连接的数量，但特征映射组中的神经元个数并没有显著减少。缺点：1单个卷积层难以捕获全局信息（改善方法有使用更大的卷积核、使用池化层、使用多层卷积层、空洞卷积tcn用了因果空洞卷积来处理时间序列问题。rnn容易出现梯度消失的问题，因为经过反向传播后，较远时间步的梯度趋近于0，导致模型难以学到远距离的信息。优点：通过门控机制，来记忆一些长期信息，相应也就保留了更多的梯度，缓解rnn梯度消失的问题。rnn不能并行的原因：不同时间步的隐藏层之间有关联。2 rnn中的反向传播。
时序预测 - 使用LSTM或Transformer模型进行时间序列数据的预测，如股票价格预测。
sybh的博客
04-20 3036
在时间序列分析中，预测未来的趋势是一个重要的问题。深度学习模型如LSTM和Transformer已经被广泛应用于时间序列预测任务。在本篇文章中，我们将介绍如何使用这些模型来预测股票价格。我们将使用PyTorch实现这些模型，并在股票价格预测任务上进行训练和测试。接下来，我们将逐步介绍如何实现LSTM和Transformer模型用于股票价格预测。
espnet中的transformer和LSTM语言模型对比实验
华为云官方博客
03-30 4031
本文以aishell为例，通过对比实验为大家介绍transformer和LSTM语言模型。
lstm-transformer
09-01
LSTM和Transformer是两种常用的神经网络模型，用于处理自然语言处理任务。LSTM（长短期记忆网络）是一种循环神经网络，通过使用门控单元来解决长序列依赖性问题。而Transformer则是一种基于注意力机制的模型，它采用了编码器-解码器结构，并使用自注意力机制来捕捉句子中的依赖关系。 LSTM模型通过逐步更新隐藏状态来记忆长序列中的信息，并使用门控单元来控制信息的输入和输出。这种机制使得LSTM模型在处理长文本时表现出色，并且在机器翻译和语言生成等任务上取得了良好的效果。 相比之下，Transformer模型通过自注意力机制来捕捉输入序列中的依赖关系，而无需使用循环结构。Transformer将输入序列分别映射为键、值和查询，并通过计算注意力权重来对序列进行加权求和。这种机制使得Transformer在处理长文本时具有较好的并行性能，并且在机器翻译、文本摘要等任务上取得了显著的成果。 LSTM和Transformer都是在自然语言处理领域具有重要意义的模型。Transformer的成功也催生了一系列基于Transformer的模型的发展，例如BERT和GPT等，它们在各个NLP任务上都取得了重大突破，并成为了该领域的重要里程碑之一。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [RNN&LSTM&Transformer&CNN](https://blog.csdn.net/weixin_45928096/article/details/123660580)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [10分钟理解RNN、LSTM、Transformer结构原理！](https://blog.csdn.net/wjinjie/article/details/131643496)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

来包番茄沙司

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值