RNN到LSTM到transformer

已于 2022-05-27 10:50:34 修改
阅读量735 收藏 6
点赞数 1
文章标签： rnn lstm 人工智能
于 2022-05-26 00:59:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_60417738/article/details/124974900
版权
本文探讨了从RNN到LSTM再到Transformer的发展原因。RNN用于捕捉文本依赖，但存在梯度消失问题；LSTM通过forget gate缓解此问题，但仍无法彻底解决；Transformer通过自注意力机制解决并行计算和梯度消失，提高翻译效率。
摘要由CSDN通过智能技术生成

为什么要用RNN？

如果我们把单词当做是一个个独立变量的话，我们就不能够获取对这个单词翻译的完整信息，文本翻译的单词意思通常会受到前面单词的影响，所以我们希望能够把前面那些影响单词的信息都考虑进来，而我们的RNN就能实现这个功能，他将每个后面单词的信息输入到前面的input，相当于把前面的单词对他的影响也输入进来。

为什么要用LSTM

参考为什么LSTM可以缓解梯度消失？_了不起的赵队的博客-CSDN博客_lstm为什么能解决梯度消失问题

因为RNN的第二层以上的隐藏层会一直用到前面输入的信息，由于每个隐藏

最低0.47元/天 解锁文章
ABCD363
关注
【Pytorch项目实战】之自然语言处理：RNN、LSTM、GRU、Transformer
shinuone的博客
01-28 2102
其使用 Self-Attention 结构取代了在 NLP 任务中常用的 RNN 的顺序网络结构，使得模型可以并行化训练，而且能够充分利用训练资料的全局信息，加入Transformer的Seq2seq模型在NLP的各个任务上都有了显著的提升。当人视觉在感知东西时候往往会更加关注某个场景中显著性的物体，为了合理利用有限的视觉信息处理资源，人需要选择视觉区域中的特定部分，然后集中关注它。：CNN的输入图像大小固定，而在语音识别中，每句话的长度都是不一样的，且一句话的前后也是有关系的。可以捕获一个序列的信息。
DL-Paper精读：LSTM + Transformer 架构模型
星月野的博客
07-11 5305
Transformer Language Models with LSTM-based Cross-Utterance Information Representation https://arxiv.org/abs/2102.06474​arxiv.org Background 近来，源于某个神奇的需求，需要研究Transformer和LSTM相结合的模型架构。这两者作为自然语言领域两个时代的王者，似乎对立的戏份远大于合作。常理来说，在Transformer刚刚被提出来的一两年内，应该有很多关于..
自然语言处理 - 要代替 RNN、LSTM 的 Transformer
GoWeiXH的小天地
05-28 3492
自然语言处理 - 要代替 RNN、LSTM 的 TransformerTransformer 结构计算过程 Seq2Seq 模型，通常来讲里面是由 RNN、GRU、LSTM 的 cell 来组建的，但最近 Google 推出了一个新的架构 Transformer. 这个模型解决了 Seq2Seq 模型依赖之前结果无法并行的问题，而且最终的效果也是非常棒。 原文：图解 Transformer 已经这...
厉害了，LSTM+Transformer王炸创新，精准度又高了！
最新发布
m0_59235945的博客
08-23 1502
（LSTM）的时序建模能力与Transformer的强大上下文表示能力相结合，显著提升了模型在处理复杂时序数据和自然语言处理任务中的表现。技术在文本生成、机器翻译和时间序列预测等多个领域展示了其潜力和有效性，其创新的方法和良好的表现使其成为研究的热点之一。为了帮助大家全面掌握的方法并寻找创新点，本文总结了的研究成果，这些论文的文章、来源以及论文的代码都整理好了，希望能为各位的研究工作提供有价值的参考。
RNN&LSTM&Transformer&CNN
weixin_45928096的博客
03-22 4008
对于图片分类，输入的每张图往往都是独立的，前后无关，这时CNN就够了。 但是对于很多语言类的问题，输入的语境和语序都是很重要的此时要用到RNN，RNN考虑了时序的变化，让神经网络有了某种记忆的能力。 即普通RNN无法回忆起久远记忆的原因：梯度消失或者梯度爆炸，所以提出了LSTM，实质是：过滤重要特征 忽略无关信息 可以形象地理解为LSTM加了一个日记本。多出了三个控制器：输入、输出、忘记 在Transformer中，编码器&解码器架构表现得最好。transformer的优点是对大数据适配能力强
【全面了解自然语言处理三大特征提取器】RNN（LSTM）、transformer（注意力机制）、CNN
weixin_45929355的博客
03-17 4131
自然语言处理（NLP）是人工智能领域中一个重要的分支，它的目的是让计算机能够理解和处理人类语言，而特征提取是让计算机理解和处理人类语言时必不可少的过程，除了数据的因素，（引自下面本文从具体介绍一下这三个主要的特征提取器。
10分钟理解RNN、LSTM、Transformer结构原理！
不积跬步，无以至千里！
07-11 7024
RNN、LSTM、Transformer 经典结构解析！
基于MLP、RNN、LSTM的锂电池寿命预测（Remaining Useful Life，RUL）（Python完整源码和数据）
03-04
基于MLP、RNN、LSTM的锂电池寿命预测（Remaining Useful Life，RUL）（Python完整源码和数据） 马里兰大学锂电池数据集 CALCE，基于 Python 的锂电池寿命预测（Remaining Useful Life，RUL）& （End Of Life，EOL）
从RNN到Attention到Transformer-LSTM介绍
AI-Mei的博客
05-12 1395
深度学习知识点总结 专栏链接:深度学习知识点总结_Mr.小梅的博客-CSDN博客本专栏主要总结深度学习中的知识点，从各大数据集比赛开始，介绍历年冠军算法；同时总结深度学习中重要的知识点，包括损失函数、优化器、各种经典算法、各种算法的优化策略Bag of Freebies (BoF)等。 本章介绍LSTM及其手动计算过程。 从RNN到Attention到Transformer系列文章RNN系列-RNN介绍、手动计算验证_Mr.小梅的博客-CSDN博客 目录 3.2 LSTM 3.2.1 LSTM介
深度学习基础（人工神经网络、CNN、RNN、lstm）
06-12
人工神经网络（Artificial Neural Networks，ANN）、卷积神经网络（Convolutional Neural Networks，CNN）、循环神经网络（Recurrent Neural Networks，RNN）以及长短时记忆网络（Long Short-Term Memory，LSTM）是...
从前馈神经网络到自然语言表示方法到RNN到LSTM到attention-到transformer--seq2seq总结
u014361476的博客
03-03 528
本人半路出家，得空从头到尾看了这本书。书中详细介绍从（1）前馈神经网络（2）单词的分布式表示-（3）RNN（4）lstm（5）attention（6）transformer（7）seq2seq，整体总结我将详细的分为7个模块一一介绍。 （1）前馈神经网络是我们比较熟悉的神经网络，具体的计算方法相信大家也比较熟悉，即wx+b。具体参见后续添加具体博客网页。 （2）自然语言无法直接输入到计算机，需要转化为数字计算机才能进行处理。整体有两种思路去表示，一种即通过one-hot编码，不常用，计算量比较大，且单词
神经网络结构——CNN、RNN、LSTM、Transformer ！！
不要给自己设限，尝试更多可能（思所向 皆可往）
03-04 9706
本文将从什么是CNN？什么是RNN？什么是LSTM？什么是Transformer？四个问题，简单介绍神经网络结构。神经网络结构通过卷积和池化操作有效地处理高维图像数据，降低计算复杂度，并提取关键特征进行识别和分类。网络结构用来提取图像的局部特征。用来大幅降低参数量级，实现数据降维。用来输出想要的结果。卷积神经网络（CNN）解决问题卷积操作提取图像特征，如边缘、纹理等，保留图像特征。池化操作大幅降低参数量级，实现数据降维，大大减少运算量，避免过拟合。工作原理。
特征抽取器 RNN/CNN/Transformer
小布莱克的博客
04-23 511
介绍自然语言处理的"特征抽取器"，或理解为预训练模型
ViT (Vision Transformer) ----LSTM网络
进击的菜鸟
12-22 1749
LSTM是对RNN的改进，主要改进RNN的梯度消失的问题即长依赖问题，那么具体如何解决的呢？ 由上图可以发现增加了三个门，那么这三个门是如何解决长依赖问题的呢？LSTM最大的设计就是传输带C，就是通过传输带的设计避免梯度的消失，lstm存在很多门，可以让信息选择性通过 遗忘门 举个例子 得到遗忘门的输出f后，在和传输带的c向量相乘 那么遗忘门的功能主要体现在哪里呢？通过例子可以看出，遗忘门的输出f是0-1的概率值，乘上传输带c就可以控制传输带信息的流入量，该f值的获取荣光如下
RNN LSTM GRU Attention transformer公式整理总结（超详细图文公式）
Luoyingfeng的博客
08-11 5459
整理各种模型的公式，以后面试复习用 RNN 公式： ht=f(W⋅[ht−1,xt]+b)h_{t}=f\left(W \cdot\left[h_{t-1}, x_{t}\right]+b\right)ht​=f(W⋅[ht−1​,xt​]+b) LSTM 公式： 遗忘门：ft=σ(Wf⋅[ht−1,xt]+bf)f_{t}=\sigma\left(W_{f} \cdot\left[h_{t-1}, x_{t}\right]+b_{f}\right)ft​=σ(Wf​⋅[ht−1​,xt​]+bf​)
R语言Keras用RNN、双向RNNs递归神经网络、LSTM分析预测温度时间序列、 IMDB电影评分情感
大数据部落
08-30 1796
原文链接：http://tecdat.cn/?p=23616 在这篇文章中，我们将回顾三种提高循环神经网络的性能和泛化能力的高级方法。我们将在一个温度预测问题上演示这三个概念，我们使用来自安装在建筑物屋顶的传感器的数据点的时间序列。 概述 安装在建筑物屋顶的传感器的数据点的时间序列，如温度、气压和湿度，你用这些数据点来预测最后一个数据点之后24小时的温度。这是一个相当具有挑战性的问题，它体现了在处理时间序列时遇到的许多常见困难。 我们将介绍以下方法。 递归剔除--这是一种特定的、内置的..
推荐模型LSTM
frank_zhaojianbo的博客
06-06 774
import os import pandas as pd import numpy as np from tqdm import tqdm from sklearn.decomposition import LatentDirichletAllocation from sklearn.metrics import accuracy_score import time import datetime from scipy.sparse import hstack from sklearn.model_se
5 时间序列预测入门：LSTM+Transformer
qq_28611929的博客
11-28 7864
``python```- `d_model`：输入和输出的特征维度（隐藏单元数）。- `nhead`：多头注意力机制中的头数。- `dim_feedforward`：前馈神经网络中间层的维度。- `dropout`：Dropout 层的丢弃率。- `activation`：激活函数的类型，默认为 ReLU。`nn.TransformerEncoderLayer` 的输入和输出形状如下：输入形状：(序列长度, 批量大小, 特征维度) 或 (批量大小, 序列长度, 特征维度)。
深入理解循环神经网络RNN与LSTM模型
长时依赖问题指的是RNN难以捕捉到距离很远的依赖关系，因为随着时间步的增加，反向传播的梯度会逐渐减小，导致训练困难。而梯度消失或梯度爆炸则意味着在反向传播过程中，梯度可能变得非常小或非常大，影响模型的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值