NLP-生成模型-2017-Transformer（一）：Encoder-Decoder模型【非序列化；并行计算】【O(n²·d)，n为序列长度，d为维度】【用正余弦函数进行“绝对位置函数式编码”】

已于 2024-03-10 13:15:28 修改
阅读量1.9k 收藏 6
点赞数 1
分类专栏： # LLM/Transformer 文章标签： 人工智能 机器学习 深度学习 Transformer Self-Attention 1024程序员节
于 2020-12-18 23:07:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/111398112
版权

《原始论文：Attention Is All You Need》

一、Transformer 概述

在2017年《Attention Is All You Need》论文里第一次提出Transformer之前，常用的序列模型都是基于卷积神经网络或者循环神经网络，表现最好的模型也是基于encoder- decoder框架的基础加上attention机制。

2018年10月，Google发出一篇论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》, BERT模型横空出世, 并横扫NLP领域11项任务的最佳成绩!

而在BERT中发挥重要作用的结构就是Transformer, 之后又相继出现XLNet，RoBERT等模型击败了BERT，但是他们的核心没有变，仍然是：Transformer.

相比之前占领市场的LSTM和GRU模型，Transformer有两个显著的优势:

  1. Transformer能够利用分布式GPU进行并行训练，提升模型训练效率.
  2. 在分析预测更长的文本时, 捕捉间隔较长的语义关联效果更好.

测评比较图:

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
订阅专栏
轰炸理解深度学习里面的encoder-decoder模型
Microstrong
12-08 5万+
微信公众号 Encoder-Decoder（编码-解码）是深度学习中非常常见的一个模型框架，比如无监督算法的auto-encoding就是用编码-解码的结构设计并训练的；比如这两年比较热的image caption的应用，就是CNN-RNN的编码-解码框架；再比如神经网络机器翻译NMT模型，往往就是LSTM-LSTM的编码-解码框架。因此，准确的说，Encoder-Decoder并不是一个具体...
Transformer中的Encoder、Decoder
01-06
一、Transformer博客推荐 Transformer源于谷歌公司2017年发表的文章Attention is all you need,Jay Alammar在博客上对文章做了很好的总结： 英文版：The Illustrated Transformer CSDN上又博主（于建民）对其进行了很好的中文翻译： 中文版：The Illustrated Transformer【译】 Google AI blog写的一篇简述可以作为科普文： Transformer: A Novel Neural Network Architecture for Language Understanding 李宏毅
Transformer编码器-解码器（Encoder-Decoder）架构介绍+代码实现
最新发布
weixin_41686431的博客
03-26 2160
Transformer的编码器-解码器是基于自注意力的模块叠加而成的，源序列（Input）和目标序列（Target）的嵌入（Embedding）表示将加上位置编码（Positional encoding）,再分别输入到编码器和解码器中。从宏观角度来看，Transformer的编码器是由多个相同的层叠加而 成的，每个层都有两个子层（子层表示为sublayer第一个子层是多头自注意力（汇聚；第二个子层是基于位置的前馈网络（具体来说，在计算编码器 的自注意力时，查询、键和值都来自前一个编码器层的输出，
深度学习方法（八）：自然语言处理中的Encoder-Decoder模型，基本Sequence to Sequence模型...
weixin_30341735的博客
01-19 941
欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。技术交流QQ群：433250724，欢迎对算法、技术感兴趣的同学加入。 Encoder-Decoder（编码-解码）是深度学习中非常常见的一个模型框架，比如无监督算法的auto-encoding就是用编码-解码的结构设计并训练的；比如这两年比较热的image caption的应用，就是...
Encoder-Decoder 模型架构详解
Joselynzhao
03-02 3万+
文章目录概述Seq2Seq（ Sequence-to-sequence ）Encoder-Decoder的缺陷Attention 机制的引入Transformer中的Encoder-Decoder 概述 Encoder-Decoder 并不是一个具体的模型，而是一个通用的框架。 Encoder 和
Encoder-Decoder模型和Attention模型
Fragrant_huee
09-11 2791
1.Encoder-Decoder模型及RNN的实现 所谓encoder-decoder模型，又叫做编码-解码模型。这是一种应用于seq2seq问题的模型。 那么seq2seq又是什么呢？简单的说，就是根据一个输入序列x，来生成另一个输出序列y。seq2seq有很多的应用，例如翻译，文档摘取，问答系统等等。在翻译中，输入序列是待翻译的文本，输出序列是翻译后的文本；在问答系统中，输入序列是提出的...
Encoder-Decoder综述理解(推荐)
热门推荐
秋水顽石
03-12 5万+
文章目录一、Encoder-Decoder（编码-解码）介绍几点说明信息丢失的问题应用二、Seq2Seq（序列到序列）介绍Seq2Seq与Encoder-Decoder代码实现 一、Encoder-Decoder（编码-解码） 介绍 Encoder-Decoder是一个模型构架，是一类算法统称，并不是特指某一个具体的算法，在这个框架下可以使用不同的算法来解决不同的任务。首先，编码（encode）由...
编码器-解码器模型（Encoder-Decoder)
极光喵的博客
03-10 2843
Encoder-Decoder算法是一种深度学习模型结构，广泛应用于自然语言处理（NLP）、图像处理、语音识别等领域。它主要由两部分组成：编码器（Encoder）和解码器（Decoder）。如图1所示，这种结构能够处理序列到序列（Seq2Seq）的任务，如机器翻译、文本摘要、对话系统、声音转化等。图1 编码器-解码器结构文本摘要是一种将长文本压缩成短文本的任务，其中Encoder-Decoder模型通常用于生成一个摘要句子。
大模型开发 - 一文搞懂Encoder-Decoder工作原理
顺其自然~专栏
03-09 686
通过计算Decoder的隐藏状态与Encoder输出的每个词的隐藏状态的相似度（Score），进而得到每个词的Attention Weight，再将这些Weight与Encoder的隐藏状态加权求和，生成一个Context Vector。1）编码器（Encoder）：使用一个循环神经网络（RNN）作为编码器（Encoder），读取输入句子，并将其压缩成一个固定维度的编码。2）Attention 机制像人类看图片的逻辑，当我们看一张图片的时候，我们并没有看清图片的全部内容，而是将注意力集中在了图片的焦点上。
【Transformer系列（1）】encoder（编码器）和decoder（解码器）
路人贾的博客
04-15 2万+
一文带你学会encoder-decoder框架
自然语言处理实验报告.doc/中文分词/宋词生成/n-gram模型/全部java源代码
11-23
中文分词/宋词生成/n-gram模型/全部java源代码，课程设计报告。全部源代码，详细注释。
nlp-tutorial代码注释1-1，语言模型、n-gram简介
01-21
即给定一个单词序列，语言模型计算出下一个单词是词汇表中各个词的概率分布。 还有一种理解是语言模型可以计算一个句子出现的概率，计算公式如下（条件概率）： n-gram语言模型： 含义：通过前（n-1）个词去预测...
GPT-5：超越人类的自然语言模型，元记忆技术帮助GPT-5超越自我
04-03
它是目前最强大的语言模型，能够在给定上下文中生成文本，并且拥有更多的上下文和更高的效率。GPT-5还具有自我学习能力，能够根据不断变化的上下文来调整其输出。 GPT-5模型由三个部分组成，分别是一个包含430亿个...
GPT-4与它的竞争对手：大语言模型如何塑造未来？
04-09
最近几个月，各大互联网巨头相继推出了自家的大语言模型，如谷歌的PaLM-E、Meta的LLaMA、百度的文心一言、华为的...它们极大地提高了自然语言处理的性能，拓宽了AI在各行各业的应用范围。从新闻撰写、智能客服到医疗
aiXcoder郝逸洋：迎接GPT-4挑战，未来将开发千亿级语言模型
04-14
郝逸洋称，未来，aiXcoder将促进模型从百亿级扩展到千亿级，加入大量自然语言处理+代码的混合数据，针对编程中的各类场景专门构造指令数据集，从而得到综合性能更好的代码编辑工具。 据悉，aiXcoder（硅心科技）是...
Encoder-Decoder模型
qq_40319989的博客
11-16 2542
1.Encoder-Decoder模型及RNN的实现 所谓encoder-decoder模型，又叫做编码-解码模型。这是一种应用于seq2seq问题的模型。 那么seq2seq又是什么呢？简单的说，就是根据一个输入序列x，来生成另一个输出序列y。seq2seq有很多的应用，例如翻译，文档摘取，问答系统等等。在翻译中，输入序列是待翻译的文本，输出序列是翻译后的文本；在问答系统中，输入序列是提出的问题，而输出序列是答案。 这里复习下Sequence2Sequence任务到底是什么，所谓的Sequence2Seq
Transformer模型深度解读
hellozhxy的博客
07-27 4518
“本文对Transoformer模型进行了深度解读，包括整体架构，Attention结构的背景和细节，QKV的含义，Multi-head Attention的本质，FFN，Positional Embedding以及Layer Normalization等一切你想知道的内容！ ” 作者：潘小小，字节跳动AI-Lab算法工程师，专注机器翻译，会讲法语，喜欢音乐，写文，记录，无人机航拍（刚入坑）。文末有内推链接，欢迎勾搭投递！！ 「Transformer」是2017年的一篇论文《Attenti...
Transformer进阶分解之Encoder-Decoder、Self-Attention
qq_53640005的博客
08-08 2435
Transformer进阶分解一、Encoder-Decoder1.1 简介1.2 结构1.3 缺点二、Attention Model2.1 Attention 注意力机制简介（一）Attention2.1.1 Attention 原理2.1.2 Attention 机制的本质思想2.1.3 Attention优缺点（二）Self-attention——attention的改进2.2.1 Self-attention原理 一、Encoder-Decoder 1.1 简介 Encoder-Decoder框架
Transformer Encoder-Decoder
06-08
Transformer Encoder-Decoder是一种基于Transformer架构的模型。...Transformer Encoder-Decoder在机器翻译、文本生成、语音识别等自然语言处理任务中表现出色，其优点包括并行化处理、长序列建模、准确性高等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值