课整理Seq2seq、attention、transformer是什么

最新推荐文章于 2024-06-20 09:41:36 发布
最新推荐文章于 2024-06-20 09:41:36 发布
阅读量312 收藏 2
点赞数
分类专栏： 参考文献
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/todingdong/article/details/112728826
版权
本文围绕李宏毅和复旦大学的深度学习与NLP课程，探讨Seq2Seq模型、Attention机制以及Transformer的详细解读，通过一系列视频资源帮助读者从入门到理解这些关键概念。
摘要由CSDN通过智能技术生成

文章目录

李宏毅深度学习与NLP课程

https://www.bilibili.com/video/BV1JE411g7XF?p=54
https://www.bilibili.com/video/BV1tK4y1s7kT

复旦神经网络课程

唐宇迪：深度学习项目实战-Seq2Seq序列生模型+用RNN与LSTM网络原理进行唐诗生成

1espresso阿婆主

https://www.bilibili.com/video/BV1P4411F77q?from=search&seid=5712418114903976289

NLP从入门到放弃

https://www.bilibili.com/video/BV1Di4y1c7Zm?from=search&seid=10051400152187759821

Transformer从零详细解读(可能是你见过最通俗易懂的讲解)

https://www.bilibili.com/video/BV1a5411j7Sw?from=search&seid=10051400152187759821

BERT专题系列（二）：Transformer （Attention is all you need）

https://www.bilibili.com/video/BV13t411j7PM?from=search&seid=10051400152187759821

选西瓜专业户
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
R随机数
todingdong的博客
03-18 1897
https://bbs.pinggu.org/thread-1528414-1-1.html http://www.360doc.com/content/13/0323/14/10942270_273414121.shtml 狄利克雷函 https://blog.csdn.net/sacainiao/article/details/54866385 https://blog.csdn.net/my...
【深度学习+面经】Transformer 网络学习笔记
BetterBench的博客
06-07 4816
目录1 引言2 详解3 优缺点3.1 优点3.2 缺点4 应用领域5 面经5.1 第一部分5.2 第二部分 1 引言 Transformer中抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。更准确地讲，Transformer主要由多头self-Attenion和Feed Forward Neural Network组成。一个基于Transformer的可训练的神经网络可以通过堆叠Transformer的形式进行搭建，作者的实验是通过搭建编码器和解码器各6层，总共12层的Enco
[深度学习-NLP]什么是Self-attention, Muti-attention和Transformer
Harry的博客
08-23 1211
1. RNN与CNN在Seq2Seq的缺点 下图左边是Seq2Seq的RNN的实现，缺点是不能并行。 右边是CNN, 可以通过加多层叠加间接解决长期数据依赖的问题。优点是可以并行（并行训练，并行执行） 2. 什么是Self-attention 下图左边是RNN实现的Seq2Seq. 右边是Self-attention的实现。Self-attention的优点是b1,b2,b3,b4b^1,b^2,b^3,b^4b1,b2,b3,b4可以并行执行的。而且Self-attention也不是RNN实现的。 2
详细介绍Seq2Seq、Attention、Transformer ！！
不要给自己设限，尝试更多可能（思所向 皆可往）
03-15 1442
本文将从Seq2Seq工作原理、Attention工作原理、Transformer工作原理三个方面，详细介绍Encoder-Decoder工作原理。Encoder-Decoder工作原理1、Seq2Seq工作原理输入一个序列，输出另一个序列。在2014年，Cho等人首次在循环神经网络（RNN）中提出了Seq2Seq（序列到序列）模型。与传统的统计翻译模型相比，Seq2Seq模型极大地简化了序列转换任务的处理流程。核心思想。
增加attention的seq2seq和transformer有什么区别
最新发布
凝眸伏笔的博客
06-20 964
seq2seq 是一个Encoder–Decoder 结构的网络，它的输入是一个序列，输出也是一个序列。Encoder 中将一个可变长度的信号序列变为固定长度的向量表达，Decoder 将这个固定长度的向量变成可变长度的目标的信号序列。很多自然语言处理任务，比如聊天机器人，机器翻译，自动文摘，智能问答等，传统的解决方案都是检索式(从候选集中选出答案)，这对素材的完善程度要求很高。seq2seq模型突破了传统的固定大小输入问题框架。采用序列到序列的模型，在NLP中是文本到文本的映射。
pytorch实现seq2seq和transformer机器翻译
04-16
在本文中，我们将深入探讨如何使用PyTorch实现Seq2Seq和Transformer架构，这两种方法都是在机器翻译领域中广泛使用的深度学习技术。首先，我们来理解这两个概念。 **Seq2Seq（Sequence to Sequence）模型**： Seq2...
从seq2seq模型到Transformer以及机器翻译小记
01-20
Seq2Seq模型是一种在自然语言处理领域广泛应用的深度学习架构，尤其在机器翻译任务中大放异彩。...总的来说，从seq2seq模型到Transformer的演进，是深度学习在自然语言处理领域不断进步和创新的体现。
从RNN到Attention到Transformer系列：Encode-Decode(Seq2Seq)代码实现
05-30
​ 介绍从RNN到Attention到Transformer系列中Decode-Encode(Seq2Seq) https://blog.csdn.net/qq_39707285/article/details/124726403
电影推荐系统、数字识别、垃圾邮件参考文献
todingdong的博客
12-19 1705
电影推荐 外文文档 https://www.ethanrosenthal.com/2015/11/02/intro-to-collaborative-filtering/ G站 https://github.com/himelove/Recommender-Systems-Collaborative-Filtering/blob/master/collaborative_filtering_mov...
花书/深度学习入门相关资料
todingdong的博客
03-06 1029
花书笔记https://zhuanlan.zhihu.com/p/38431213 代码https://github.com/dalmia/Deep-Learning-Book-Chapter-Summaries 来源：公众号AI有道 图解深度学习 19页花书经验法则https://mp.weixin.qq.com/s?__biz=MzIwOTc2MTUyMg==&mid=22474888...
舒尔补
todingdong的博客
03-18 892
https://blog.csdn.net/itnerd/article/details/83385817 基本性质https://wenku.baidu.com/view/47359c1655270722192ef737.html
Pyhon里一些有趣的包——关于时间序列、回归、机器学习auto
todingdong的博客
12-30 596
文章目录==机器学习类==nyokasimple-learnautoml==时间序列新方法==fbprophet==时间序列自动化==pmdarimaAuto_TSarch 机器学习类 nyoka https://softwareag.github.io/nyoka/ 这个包似乎和scikit-learn有点像 simple-learn 自动ML automl 自动ML 时间序列新方法 fbprophet https://facebook.github.io/prophet/docs/quick_start
机器学习项目ipynb
todingdong的博客
12-19 500
文章目录100天机器学习 （翻译+ 实操）机器学习黄博士 100天机器学习 （翻译+ 实操） https://github.com/LiuChuang0059/100days-ML-code 机器学习 Machine-Learning讲解常见的机器学习算法 https://github.com/GreedyAIAcademy/Machine-Learning 此项目是机器学习(Machine Le...
树模型调参指南——官网文档
todingdong的博客
12-31 452
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录决策树随机森林GBDTXGboostLightGBMCatboost 决策树 随机森林 GBDT XGboost https://xgboost.readthedocs.io/en/latest/parameter.html LightGBM Catboost ...
CSDN打印代码
todingdong的博客
11-25 436
(function(){ 'use strict'; var articleBox = $("div.article_content"); articleBox.removeAttr("style"); $("#btn-readmore").parent().remove(); $("#side").remove(); $("#comment_title, #comment_list, #comment_bar, #comment_form, .announc
深度学习 复现资料
todingdong的博客
03-06 408
网址收藏栏 啊啊啊啊 不是我说，上课的老师基本都是讲理论的多，编程不教自己去学 本学渣鸭梨山大 论文解读：pointer-gen for summarization https://zhuanlan.zhihu.com/p/109122901 论文 | Neural Network Models for Paraphrase Identification, Semantic Textual Sim...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值