【DL】Transformer与LSTM的区别和联系

已于 2023-01-27 17:56:06 修改
阅读量3.4k 收藏 12
点赞数 1
文章标签： transformer lstm 深度学习
于 2023-01-27 17:50:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/songyuc/article/details/128771862
版权

1 区别

1.1 输入输出形式

对于Transformer，其编码器从作用上可以看作是大型MLP的变体，也就是说其输入是同时输入的，从输入形式上看与MLP十分相似；
LSTM的基本思想是时序模型，也就是说，在训练时输入是一个一个顺序输入的；

Espresso在《汉语自然语言处理-从零解读碾压循环神经网络的transformer模型(一)- 注意力机制-位置编码-attention is all you need》中讲到：
Transformer和LSTM的最大区别，就是LSTM的训练是迭代的，是一个接一个字的来,当前这个字过完LSTM单元,才可以进下一个字，而Transformer的训练是并行了,就是所有字是全部同时训练的，这样就大大加快了计算效率（并行性的优势）；

songyuc
关注
综合LSTM、transformer优势，DeepMind强化学习智能体提高数据效率
迈微AI研习社 · 号主
09-14 1587
来自 DeepMind 的研究者提出了用于强化学习的 CoBERL 智能体，它结合了新的对比损失以及混合 LSTM-transformer 架构，可以提高处理数据效率。实验表明，CoBERL 在整个 Atari 套件、一组控制任务和具有挑战性的 3D 环境中可以不断提高性能。
Transformer和LSTM的对比
weixin_43667338的博客
07-18 810
Transformer和LSTM是两种不同的神经网络结构，主要用于处理序列数据，如自然语言处理、时间序列分析等。它们在结构和处理方式上有显著的区别，各自有其优缺点。以下是详细的对比。
厉害了，LSTM+Transformer王炸创新，精准度又高了！
最新发布
m0_59235945的博客
08-23 1450
（LSTM）的时序建模能力与Transformer的强大上下文表示能力相结合，显著提升了模型在处理复杂时序数据和自然语言处理任务中的表现。技术在文本生成、机器翻译和时间序列预测等多个领域展示了其潜力和有效性，其创新的方法和良好的表现使其成为研究的热点之一。为了帮助大家全面掌握的方法并寻找创新点，本文总结了的研究成果，这些论文的文章、来源以及论文的代码都整理好了，希望能为各位的研究工作提供有价值的参考。
深入对比：Transformer与LSTM的详细解析
qlkaicx的博客
06-05 4008
LSTM和Transformer各自具有独特的优势，并在不同的任务中发挥着重要作用。在深度学习和自然语言处理（NLP）领域，Transformer和长短时记忆网络（LSTM）是两个备受瞩目的模型。LSTM是一种特殊的循环神经网络（RNN），旨在解决传统RNN在处理长序列时遇到的梯度消失和梯度爆炸问题。Transformer是一种基于自注意力机制的模型，它摒弃了RNN的循环结构，完全依赖于自注意力机制来处理序列数据。Transformer在多个NLP任务中都取得了显著的效果，尤其是在机器翻译等任务中。
深度学习 | (9) Transformer和LSTM对比的设想？
sdu_hao的博客
03-14 5601
原文地址 现在的想法是transformer模型建立依赖关系的能力可能是依旧比较差。 Transformer 长程依赖的捕获能力是比 RNN 类结构差的。 这点在最近 Transformer-XL [1] 的文章中有体现。 ...
espnet中的transformer和LSTM语言模型对比实验
华为云官方博客
03-30 4129
本文以aishell为例，通过对比实验为大家介绍transformer和LSTM语言模型。
DL-Paper精读：LSTM + Transformer 架构模型
星月野的博客
07-11 5291
Transformer Language Models with LSTM-based Cross-Utterance Information Representation https://arxiv.org/abs/2102.06474​arxiv.org Background 近来，源于某个神奇的需求，需要研究Transformer和LSTM相结合的模型架构。这两者作为自然语言领域两个时代的王者，似乎对立的戏份远大于合作。常理来说，在Transformer刚刚被提出来的一两年内，应该有很多关于..
基于transformer和lstm
09-02
基于Transformer和LSTM的动态恶意软件检测方法是一种结合了两种模型的技术。Transformer是一种自注意力机制的模型，它在本处理任务中表现出色。而LSTM是一种长短期记忆网络，擅长处理序列数据。这种方法的目标是在...
transformer lstm
08-22
在自然语言处理领域，Transformer和LSTM是两个非常重要的模型，它们分别代表了不同的时代和思想。 Transformer是一种基于自注意力机制的神经网络模型，它在机器翻译等任务中取得了很大的成功。它能够处理输入序列的...
DL之Transformer：Transformer的简介(优缺点/架构详解，基于Transformer的系列架构对比分析)、使用方法(NLP领域/CV领域)、代码实现、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
02-27 8729
​ DL之Transformer：Transformer的简介(优缺点/架构详解，基于Transformer的系列架构对比分析)、使用方法(NLP领域/CV领域)、案例应用之详细攻略 目录 相关文章 Transformer的简介 Transformer的使用方法 Transformer的案例应用 相关文章 NLP/CV：Seq2Seq(应用/思想)→Encoder-Decoder(架构)→Seq2Seq with Attentio
lstm transformer
08-15
LSTM和Transformer是处理序列数据的两种主流模型。LSTM是一种逐步迭代的模型，它逐个字地进行训练和计算。而Transformer则是并行计算的模型，它同时对所有字进行训练。Transformer使用了位置嵌入来理解语言的顺序，...
神经网络结构——CNN、RNN、LSTM、Transformer ！！
不要给自己设限，尝试更多可能（思所向 皆可往）
03-04 9471
本文将从什么是CNN？什么是RNN？什么是LSTM？什么是Transformer？四个问题，简单介绍神经网络结构。神经网络结构通过卷积和池化操作有效地处理高维图像数据，降低计算复杂度，并提取关键特征进行识别和分类。网络结构用来提取图像的局部特征。用来大幅降低参数量级，实现数据降维。用来输出想要的结果。卷积神经网络（CNN）解决问题卷积操作提取图像特征，如边缘、纹理等，保留图像特征。池化操作大幅降低参数量级，实现数据降维，大大减少运算量，避免过拟合。工作原理。
【全面了解自然语言处理三大特征提取器】RNN（LSTM）、transformer（注意力机制）、CNN
weixin_45929355的博客
03-17 4102
自然语言处理（NLP）是人工智能领域中一个重要的分支，它的目的是让计算机能够理解和处理人类语言，而特征提取是让计算机理解和处理人类语言时必不可少的过程，除了数据的因素，（引自下面本文从具体介绍一下这三个主要的特征提取器。
10分钟理解RNN、LSTM、Transformer结构原理！
不积跬步，无以至千里！
07-11 7005
RNN、LSTM、Transformer 经典结构解析！
LSTM神经网络 vs Transformer在量化中的应用
mnwl12_0的博客
05-07 825
##
LSTM + Transformer 结合，模型性能效果炸裂
m0_73122726的博客
07-15 1258
近年来，这一混合模型在多任务实时预测中表现尤为突出，比如登上Nature子刊的最新混合架构LSTM-Transformer，即使数据保留率为50％，模型性能依然最优！ 本文总结了最近两年【LSTM结合Transformer】相关的15篇前沿研究成果，这些论文都整理好了，希望能给各位的学术研究提供一些启发！
Block Recurrent Transformer：结合了LSTM和Transformer优点的强大模型
deephub
07-08 5502
在以前的文章中，我们讨论过Transformer并不适合时间序列预测任务。为了解决这个问题Google创建了Hybrid Transformer-LSTM模型，该模型可以实现SOTA导致时间序列预测任务。但是我实际测试效果并不好，直到2022年3月Google研究团队和瑞士AI实验室IDSIA提出了一种新的架构，称为Block Recurrent Transformer [2]。从名字中就能看到，这是一个新型的Transformer模型，它利用了lstm的递归机制，在长期序列的建模任务中实现了显著改进。在介
RNN结构，双向LSTM，Transformer， BERT对比分析
热门推荐
weixin_41089007的博客
07-19 2万+
最近接到一些秋招面试，发现自己对于好多网络结构都模糊了，刚好最近在调研模型，就趁这个机会把之前的常见模型知识梳理一下。 主要参考文档： https://jalammar.github.io/illustrated-transformer/ https://blog.csdn.net/jojozhangju/article/details/51982254 1.Recurrent Neura...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值