【DL】Transformer与LSTM的区别和联系

已于 2023-01-27 17:56:06 修改
阅读量3.3k 收藏 11
点赞数 1
文章标签： transformer lstm 深度学习
于 2023-01-27 17:50:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/songyuc/article/details/128771862
版权

1 区别

1.1 输入输出形式

对于Transformer，其编码器从作用上可以看作是大型MLP的变体，也就是说其输入是同时输入的，从输入形式上看与MLP十分相似；
LSTM的基本思想是时序模型，也就是说，在训练时输入是一个一个顺序输入的；

Espresso在《汉语自然语言处理-从零解读碾压循环神经网络的transformer模型(一)- 注意力机制-位置编码-attention is all you need》中讲到：
Transformer和LSTM的最大区别，就是LSTM的训练是迭代的，是一个接一个字的来,当前这个字过完LSTM单元,才可以进下一个字，而Transformer的训练是并行了,就是所有字是全部同时训练的，这样就大大加快了计算效率（并行性的优势）；

songyuc
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LSTM+Transformer混合模型时间序列预测实战教学
08-14 5451
LSTM+Transformer混合模型时间序列预测实战教学 毕业设计
综合LSTM、transformer优势，DeepMind强化学习智能体提高数据效率
迈微AI研习社 · 号主
09-14 1544
来自 DeepMind 的研究者提出了用于强化学习的 CoBERL 智能体，它结合了新的对比损失以及混合 LSTM-transformer 架构，可以提高处理数据效率。实验表明，CoBERL 在整个 Atari 套件、一组控制任务和具有挑战性的 3D 环境中可以不断提高性能。
【Transformer-LSTM分类预测】Transformer-LSTM多特征分类预测
前程算法屋的博客
07-09 382
【Transformer-LSTM分类预测】Transformer-LSTM多特征分类预测
深入对比：Transformer与LSTM的详细解析
qlkaicx的博客
06-05 2756
LSTM和Transformer各自具有独特的优势，并在不同的任务中发挥着重要作用。在深度学习和自然语言处理（NLP）领域，Transformer和长短时记忆网络（LSTM）是两个备受瞩目的模型。LSTM是一种特殊的循环神经网络（RNN），旨在解决传统RNN在处理长序列时遇到的梯度消失和梯度爆炸问题。Transformer是一种基于自注意力机制的模型，它摒弃了RNN的循环结构，完全依赖于自注意力机制来处理序列数据。Transformer在多个NLP任务中都取得了显著的效果，尤其是在机器翻译等任务中。
Transformer和LSTM的对比
最新发布
weixin_43667338的博客
07-18 510
Transformer和LSTM是两种不同的神经网络结构，主要用于处理序列数据，如自然语言处理、时间序列分析等。它们在结构和处理方式上有显著的区别，各自有其优缺点。以下是详细的对比。
深度学习 | (9) Transformer和LSTM对比的设想？
sdu_hao的博客
03-14 5531
原文地址 现在的想法是transformer模型建立依赖关系的能力可能是依旧比较差。 Transformer 长程依赖的捕获能力是比 RNN 类结构差的。 这点在最近 Transformer-XL [1] 的文章中有体现。 ...
espnet中的transformer和LSTM语言模型对比实验
华为云官方博客
03-30 4067
本文以aishell为例，通过对比实验为大家介绍transformer和LSTM语言模型。
Dive-into-DL-PyTorch.rar
06-10
8. **循环神经网络（RNNs）与LSTM**：深入理解序列数据的处理，学习如何构建和训练RNN和LSTM模型，适用于自然语言处理等领域的任务。 9. **自注意力机制与Transformer**：PyTorch支持实现自注意力机制，这是...
ML-Study:所有与ML + Computer Vision + DL相关的代码和注释都将在此处提供
04-15
在本资源"ML-Study:所有与ML + Computer Vision + DL相关的代码和注释都将在此处提供"中，我们可以深入探讨一系列与机器学习（Machine Learning）、计算机视觉（Computer Vision）和深度学习（Deep Learning）相关的...
DL3-电视脚本生成
02-10
LSTM擅长处理序列数据，能够捕捉上下文依赖，而Transformer模型在处理长距离依赖和并行计算上表现优异。 3. **训练与优化**：在Jupyter Notebook中，开发者会编写代码以训练模型，调整超参数，如学习率、批次大小和...
ML-DL
03-17
而深度学习则涉及卷积神经网络（CNNs）用于图像处理，循环神经网络（RNNs）及其变种如长短时记忆网络（LSTM）用于序列数据，以及现在流行的Transformer架构用于自然语言处理。 在实际应用中，数据预处理是关键步骤...
DL-NLP-Readings：我的深度学习和自然语言处理阅读清单
02-04
近年来，深度学习的引入极大地推动了NLP的发展，例如使用循环神经网络（RNN）、长短时记忆网络（LSTM）和Transformer模型进行序列建模。 "deep-learning"标签强调了深度神经网络在现代AI中的重要性。深度学习通过...
10分钟理解RNN、LSTM、Transformer结构原理！
不积跬步，无以至千里！
07-11 6756
RNN、LSTM、Transformer 经典结构解析！
【全面了解自然语言处理三大特征提取器】RNN（LSTM）、transformer（注意力机制）、CNN
weixin_45929355的博客
03-17 3782
自然语言处理（NLP）是人工智能领域中一个重要的分支，它的目的是让计算机能够理解和处理人类语言，而特征提取是让计算机理解和处理人类语言时必不可少的过程，除了数据的因素，（引自下面本文从具体介绍一下这三个主要的特征提取器。
神经网络结构——CNN、RNN、LSTM、Transformer ！！
不要给自己设限，尝试更多可能（思所向 皆可往）
03-04 7101
本文将从什么是CNN？什么是RNN？什么是LSTM？什么是Transformer？四个问题，简单介绍神经网络结构。神经网络结构通过卷积和池化操作有效地处理高维图像数据，降低计算复杂度，并提取关键特征进行识别和分类。网络结构用来提取图像的局部特征。用来大幅降低参数量级，实现数据降维。用来输出想要的结果。卷积神经网络（CNN）解决问题卷积操作提取图像特征，如边缘、纹理等，保留图像特征。池化操作大幅降低参数量级，实现数据降维，大大减少运算量，避免过拟合。工作原理。
Block Recurrent Transformer：结合了LSTM和Transformer优点的强大模型
deephub
07-08 5443
在以前的文章中，我们讨论过Transformer并不适合时间序列预测任务。为了解决这个问题Google创建了Hybrid Transformer-LSTM模型，该模型可以实现SOTA导致时间序列预测任务。但是我实际测试效果并不好，直到2022年3月Google研究团队和瑞士AI实验室IDSIA提出了一种新的架构，称为Block Recurrent Transformer [2]。从名字中就能看到，这是一个新型的Transformer模型，它利用了lstm的递归机制，在长期序列的建模任务中实现了显著改进。在介
LSTM + Transformer 结合，模型性能效果炸裂
m0_73122726的博客
07-15 901
近年来，这一混合模型在多任务实时预测中表现尤为突出，比如登上Nature子刊的最新混合架构LSTM-Transformer，即使数据保留率为50％，模型性能依然最优！ 本文总结了最近两年【LSTM结合Transformer】相关的15篇前沿研究成果，这些论文都整理好了，希望能给各位的学术研究提供一些启发！
RNN结构，双向LSTM，Transformer， BERT对比分析
热门推荐
weixin_41089007的博客
07-19 2万+
最近接到一些秋招面试，发现自己对于好多网络结构都模糊了，刚好最近在调研模型，就趁这个机会把之前的常见模型知识梳理一下。 主要参考文档： https://jalammar.github.io/illustrated-transformer/ https://blog.csdn.net/jojozhangju/article/details/51982254 1.Recurrent Neura...
DL-Paper精读：LSTM + Transformer 架构模型
星月野的博客
07-11 5121
Transformer Language Models with LSTM-based Cross-Utterance Information Representation https://arxiv.org/abs/2102.06474​arxiv.org Background 近来，源于某个神奇的需求，需要研究Transformer和LSTM相结合的模型架构。这两者作为自然语言领域两个时代的王者，似乎对立的戏份远大于合作。常理来说，在Transformer刚刚被提出来的一两年内，应该有很多关于..
基于transformer和lstm
09-02
基于Transformer和LSTM的动态恶意软件检测方法是一种结合了两种模型的技术。Transformer是一种自注意力机制的模型，它在本处理任务中表现出色。而LSTM是一种长短期记忆网络，擅长处理序列数据。这种方法的目标是在恶意软件检测中提高准确性和效率。 具体而言，在这种方法中，采用了Transformer和LSTM的组合来处理动态恶意软件检测任务。每个Transformer block之前都建立了一个LSTM，以便处理每个块之间的序列信息。这样可以有效地利用Transformer的自注意力机制和LSTM的记忆性质，提高对恶意软件的检测能力。 此外，还有一种与LSTM基于跨语句的信息表示的Transformer语言模型。这种模型利用LSTM来捕捉不同语句之间的关联信息，并结合Transformer模型进行更准确的语言建模。这种方法对于恶意软件检测中的文本分析任务可能也具有一定的应用潜力。 综上所述，基于Transformer和LSTM的动态恶意软件检测方法是一种结合了两种模型的技术，旨在提高对恶意软件的准确性和效率。这种方法可以通过利用Transformer的自注意力机制和LSTM的记忆性质来处理序列信息，并有望在文本分析任务中发挥重要作用。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [一种基于Transformer和LSTM的恶意软件动态检测方法](https://blog.csdn.net/weixin_33478634/article/details/118848394)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [DL-Paper精读：LSTM + Transformer 架构模型](https://blog.csdn.net/li6016265/article/details/118662119)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值