nlp中的attention、lstm、transformer、bert学习

最新推荐文章于 2025-03-24 14:43:29 发布

SortedX

最新推荐文章于 2025-03-24 14:43:29 发布

阅读量687

点赞数 1

分类专栏： nlp 文章标签： nlp lstm

本文链接：https://blog.csdn.net/huanucas/article/details/104534454

版权

nlp 专栏收录该内容

1 篇文章

订阅专栏

1、Attention机制:

参考文献

完全图解RNN、RNN变体、Seq2Seq、Attention机制 https://www.leiphone.com/news/201709/8tDpwklrKubaecTa.html

Attention注意力机制介绍 https://www.cnblogs.com/hiyoung/p/9860561.html

两篇结合看，理解的快

2、lstm

https://www.cnblogs.com/zuotongbin/p/10698843.html

3、transformer

https://www.jianshu.com/p/e7d8caa13b21

4、bert

https://github.com/google-research/bert

https://www.cnblogs.com/rucwxb/p/10277217.html

https://zhuanlan.zhihu.com/p/46652512

https://www.jianshu.com/p/60fc9253a0bf

5、抽时间看看的

https://zhuanlan.zhihu.com/p/50443871

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

SortedX

关注关注

1
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

综合LSTM、transformer优势，DeepMind强化学习智能体提高数据效率

迈微AI研习社 · 号主

09-14

1717

来自 DeepMind 的研究者提出了用于强化学习的 CoBERL 智能体，它结合了新的对比损失以及混合 LSTM-transformer 架构，可以提高处理数据效率。实验表明，CoBERL 在整个 Atari 套件、一组控制任务和具有挑战性的 3D 环境中可以不断提高性能。

LSTM+Transformer混合模型时间序列预测实战教学

08-14

7440

LSTM+Transformer混合模型时间序列预测实战教学毕业设计

参与评论您还未登录，请先登录后发表或查看评论

LSTM + Transformer 结合，模型性能效果炸裂

m0_73122726的博客

07-15

2646

近年来，这一混合模型在多任务实时预测中表现尤为突出，比如登上Nature子刊的最新混合架构LSTM-Transformer，即使数据保留率为50％，模型性能依然最优！本文总结了最近两年【LSTM结合Transformer】相关的15篇前沿研究成果，这些论文都整理好了，希望能给各位的学术研究提供一些启发！

LSTM创新点不够？LSTM+transformer助你登顶Nature！

最新发布

2501_91057708的博客

03-24

1104

2024年LSTM已经没有创新点了吗？何尝不换个角度LSTM + transformer做融合创新仍能登顶nature。LSTM擅于捕捉短期模式，却难以长效捕获复杂的依赖关系；Transformer虽能掌握全局趋势，却因计算复杂性而难以满足实时预测的需求。两者分别单独使用都会面临不同的问题，如无法捕获短期关系或计算复杂度过高。LSTM + transformer将两者的优势结合，助力工程系统实现高效、精准的多任务实时预测。

厉害了，LSTM+Transformer王炸创新，精准度又高了！

m0_59235945的博客

08-23

3580

（LSTM）的时序建模能力与Transformer的强大上下文表示能力相结合，显著提升了模型在处理复杂时序数据和自然语言处理任务中的表现。技术在文本生成、机器翻译和时间序列预测等多个领域展示了其潜力和有效性，其创新的方法和良好的表现使其成为研究的热点之一。为了帮助大家全面掌握的方法并寻找创新点，本文总结了的研究成果，这些论文的文章、来源以及论文的代码都整理好了，希望能为各位的研究工作提供有价值的参考。

关于自然语言处理（NLP）的一些基本知识（RNN，LSTM，Attention，Self Attention，Transformer，Bert，GPT之间的关系）

xfysq_的博客

04-01

1163

关于自然语言处理（NLP）的一些基本知识（RNN，LSTM，Attention，Self Attention，Transformer，Bert，GPT之间的关系）

NLP 进阶：BERT + LSTM 用于情感分类的迁移学习

qq_42014575的博客

01-15

2025

是一种基于 Transformer 的双向编码器预训练语言模型。其优势在于：捕捉文本中双向的上下文信息。能够在大规模数据上进行预训练，拥有强大的语言理解能力。

AI人工智能进阶-BERT/Transformer/LSTM/RNN原理与代码

u012456282的专栏

09-07

1883

所有的分享都来自于我个人笔记，经过我自己的思考总结实践积累下来的东西，希望能帮助到入门的朋友们。

Question Answering System using LSTM and BERT

05-23

**自然语言处理中的问答系统：LSTM与BERT的结合应用** 在现代信息技术中，自然语言处理（NLP）已经成为一个至关重要的领域，特别是在人工智能和大数据分析的应用中。问答系统（Question Answering System, QAS）是...

RNN结构，双向LSTM，Transformer， BERT对比分析

热门推荐

weixin_41089007的博客

07-19

2万+

最近接到一些秋招面试，发现自己对于好多网络结构都模糊了，刚好最近在调研模型，就趁这个机会把之前的常见模型知识梳理一下。主要参考文档： https://jalammar.github.io/illustrated-transformer/ https://blog.csdn.net/jojozhangju/article/details/51982254 1.Recurrent Neura...

AttRCNN-CNN：论文介绍：针对现有模型不能充分提取语义特征，以及单一使用语义或语言学特征来进行预测等不足，使用BERT预训练模型进行句子的特征提取。以及特征融合的论文，使用LSTM-Attention和CNN进行文档特征提取，同时结合Mairesse语言学特征，将多个分段提取的特征融合起来进行分析，最终使用Pytorch进行模型实现

03-03

AttRCNN-CNN 译文：基于BERT和多特征联合的个性识别方法领域：文本个性识别技术：BERT，LSTM，Attention，CNN 链接：论文介绍：针对现有模型不能充分提取语义特征，以及单个使用语义或语言学特征来进行预测等不足，使用BERT预训练模型进行句子的特征提取。同时阅读了关于多模态以及特征融合的论文，使用LSTM-Attention和CNN进行文档尺寸特征提取，同时结合Mairesse语言学特征，将多个分割提取的特征融合起来进行分析，最终使用Pytorch进行模型实现。其中4个类别的提升分别都由50％多，提升至60％以上，而一个类别由54.17％提升至70.04％。

融合LSTM与Transformer做时间序列预测，发高分轻轻松松！收藏这一篇就够了！！

bugyinyin的博客

03-12

1084

LSTM结合Transformer，在时间序列预测上效果拔群！不仅巧妙融合了二者的优势，还构建了一个强大而灵活的预测框架，为我们处理复杂时间序列数据提供了更牛x的工具。

序列模型（2）—— 快速串联 RNN / LSTM / Attention / transformer / BERT / GPT

佚失的诗篇

12-02

4944

快速串联 RNN / LSTM / Attention / transformer / BERT / GPT

5 时间序列预测入门：LSTM+Transformer

qq_28611929的博客

11-28

9483

``python```- `d_model`：输入和输出的特征维度（隐藏单元数）。- `nhead`：多头注意力机制中的头数。- `dim_feedforward`：前馈神经网络中间层的维度。- `dropout`：Dropout 层的丢弃率。- `activation`：激活函数的类型，默认为 ReLU。`nn.TransformerEncoderLayer` 的输入和输出形状如下：输入形状：(序列长度, 批量大小, 特征维度) 或 (批量大小, 序列长度, 特征维度)。

深度学习机器学习面试题——自然语言处理NLP,transformer,BERT,RNN,LSTM

weixin_46838716的博客

05-23

2614

1）transformer是BERT的基本结构，self-attention又是transformer的重要核心，transformer比CNN,RNN,LSTM牛逼多了，BERT是预训练大模型。 2）Tranformer已经在CV中开挂了，所以不只是NLP里面有这个玩意 3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。

从RNN到Attention到Transformer-LSTM介绍

AI-Mei的博客

05-12

1517

深度学习知识点总结专栏链接:深度学习知识点总结_Mr.小梅的博客-CSDN博客本专栏主要总结深度学习中的知识点，从各大数据集比赛开始，介绍历年冠军算法；同时总结深度学习中重要的知识点，包括损失函数、优化器、各种经典算法、各种算法的优化策略Bag of Freebies (BoF)等。本章介绍LSTM及其手动计算过程。从RNN到Attention到Transformer系列文章RNN系列-RNN介绍、手动计算验证_Mr.小梅的博客-CSDN博客目录 3.2 LSTM 3.2.1 LSTM介

基于Bert+Attention+LSTM智能校园知识图谱问答推荐系统

10-22

1145

基于ALBERT模型的轻量级优化：项目采用了ALBERT模型，该模型通过减少参数量（例如通过参数共享和分解嵌入矩阵）来优化BERT，使其更适合在计算资源有限的环境中执行大型任务。这种优化在保持模型性能的同时，减少了训练时间和内存需求，适合于大规模命名实体识别任务。结合LSTM的增强序列建模能力：在ALBERT模型的基础上，项目进一步结合了LSTM（长短时记忆网络）进行序列建模。LSTM有助于捕捉输入文本中的长期依赖关系，尤其适用于处理序列数据，如自然语言中的句子结构。

weixin_31960565的博客

02-03

689

前段时间参加了一些比赛，自己重新整理了NLP的一些基础知识和现在的前沿技术。感觉越复杂的网络虽然效果大概率会越好，但是他的可解释性实在是差。。。目录：循环神经网络（RNN）长短记忆神经网络（LSTM）Seq2Seq模型Attention机制在NLP中的应用Transformer总结RNN我对RNN的理解关键在于循环二字，t时刻的状态依靠t-1时刻的状态，而t-1时刻的状态又依靠t-2时刻的状态，因...