【nlp】3.6 Tansformer模型构建（编码器与解码器模块耦合）

最新推荐文章于 2024-09-16 01:21:17 发布
最新推荐文章于 2024-09-16 01:21:17 发布
阅读量840 收藏 9
点赞数 8
分类专栏： NLP自然语言处理 文章标签： 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lys_828/article/details/134573762
版权
本文介绍了Transformer模型的构建，包括编码器-解码器结构的实现和完整模型的代码细节。通过EncoderDecoder类，实现了编码和解码流程的封装，并详细阐述了forward、encode和decode函数的功能。同时，讲解了make_model函数，用于根据参数构建模型对象。
摘要由CSDN通过智能技术生成

Tansformer模型构建（编码器与解码器模块耦合）

1. 模型构建介绍

通过上面的小节, 我们已经完成了所有组成部分的实现, 接下来就来实现完整的编码器-解码器结构耦合.

Transformer总体架构图:
在这里插入图片描述

2 编码器-解码器结构的代码实现

EncoderDecoder函数完成编码解码的子任务，就是把编码和解码的流程进行封装实现。

# 编码解码内部函数类 EncoderDecoder 实现分析
# init函数 (self, encoder, decoder, source_embed, target_embed, generator)
    # 5个成员属性赋值 encoder 编码器对象 decoder 解码器对象 source_embed source端词嵌入层对象
    # target_embed target端词嵌入层对象 generator 输出层对象
了解本专栏 订阅专栏 解锁全文 超级会员免费看
lys_828
关注
专栏目录
订阅专栏
Spring Cloud Open Feign 服务调用
程序员光剑
07-30 2239
Spring Cloud 是一系列框架的有序集合。它为微服务架构中的开发人员提供了快速构建分布式系统的工具。其中 Spring Cloud Netflix 是用来构建基于Netflix OSS 的云端应用的，而 Spring Cloud OpenFeign 提供了声明式、模板化的 Restful HTTP 服务客户端。本文将详细介绍 Spring Cloud OpenFeign 服务调用。
How to choose an appropriate RPC framework
程序员光剑
08-06 712
RPC（Remote Procedure Call）即远程过程调用，它是一种分布式计算模型。其目的在于提供一种通过网络调用服务的方法，使得不同计算机上的服务可以互相通信，而不需要了解底层网络通信的细节，只需简单配置就可以实现。虽然RPC非常强大且功能丰富，但是各个框架也存在区别。比如性能、稳定性、可用性等方面。
AI多模态模型架构之模态编码器：图像编码、音频编码、视频编码
AIGCmagic的博客
04-28 2238
模态编码器(Modality Encoder, ME)：负责将不同模态的输入编码成特征。常见的编码器包括图像的NFNet-F6、ViT、CLIP ViT等，音频的Whisper、CLAP等，视频编码器等。输入投影器(Input Projector)：负责将其他模态的特征投影到文本特征空间，并与文本特征一起输入给语言模型。常用的投影器包括线性投影器、MLP、交叉注意力等。语言模型骨架(LLM Backbone)：利用预训练的语言模型，负责处理各种模态的特征，进行语义理解、推理和决策。
编码器-解码器模型（Encoder-Decoder)
极光喵的博客
03-10 5942
Encoder-Decoder算法是一种深度学习模型结构，广泛应用于自然语言处理（NLP）、图像处理、语音识别等领域。它主要由两部分组成：编码器（Encoder）和解码器（Decoder）。如图1所示，这种结构能够处理序列到序列（Seq2Seq）的任务，如机器翻译、文本摘要、对话系统、声音转化等。图1 编码器-解码器结构文本摘要是一种将长文本压缩成短文本的任务，其中Encoder-Decoder模型通常用于生成一个摘要句子。
生成模型-编码器与预训练
RUN
04-18 2063
模型包括了生成模型(无监督学习)、判别模型(有监督学习)。 下面介绍生成模型中的编码器： 1.自编码器 表征学习，可重构样本的特征。可用于CNN早期参数的初始化。是基于无监督学习的的神经网络。—预训练 编码和解码的两个W可以相同，即权值共享。误差是重构前后的特征的difference！误差反向传播，可用最小二乘法 和交叉熵函数 2.降噪自编码器 与自编码器的区别是降噪的输入向训练样本加入了随机...
Transformer编码器-解码器（Encoder-Decoder）架构介绍+代码实现
weixin_41686431的博客
03-26 5088
Transformer的编码器-解码器是基于自注意力的模块叠加而成的，源序列（Input）和目标序列（Target）的嵌入（Embedding）表示将加上位置编码（Positional encoding）,再分别输入到编码器和解码器中。从宏观角度来看，Transformer的编码器是由多个相同的层叠加而 成的，每个层都有两个子层（子层表示为sublayer第一个子层是多头自注意力（汇聚；第二个子层是基于位置的前馈网络（具体来说，在计算编码器 的自注意力时，查询、键和值都来自前一个编码器层的输出，
Transformer各个核心模块的理解1
L__james的博客
08-03 327
Transformer的整体概览和Decoder部分的详细介绍。
acl自然语言处理_ACL 2020中自然语言处理中的知识图
weixin_26632369的博客
07-20 1262
acl自然语言处理 重点 (Top highlight)This post commemorates the first anniversary of the series where we examine advancements in NLP and Graph ML powered by knowledge graphs! ???? 1️⃣The feedback of the audience ...
多级注意力的三维人体形状和姿态估计编解码器
13033基于多级注意力的三维人体形状和姿态估计编解码器万紫牛1* 李正佳2*田茂清3刘建波4帅毅3李洪生41卡内基梅隆大学2同济大学3商汤科技研究4香港中文大学ziniuwan@andrew.cmu.eduzjli1997@tongji.edu.cntianmaoqing...
Point-BERT：3D点云变换器的掩蔽点建模的预训练方法
的概念推广到3D恩布斯角分词器离散令牌1967年5月26日，269、516、49解码器重建的点云点云 受BERT的启发，我们设计了一个掩蔽点Transformer1967年，第5页，第49页建模（MPM）任务来预训练点云变换器。具体来说，我们...
MyBatis和Dubbo深度整合——深度分析MyBatis+Dubbo项目架构设计
程序员光剑
07-28 1096
1.1 Mybatis 是什么？Mybatis 是一款优秀的持久层框架，它支持自定义 SQL、存储过程以及高级映射。Mybatis 避免了几乎所有的 JDBC 代码以及参数处理，非常适合开发人员编写灵活可移植性强的代码，屏蔽了数据库底层实现的差异性。Mybatis 可以直接作用在 XML 配置文件中，将复杂的JDBC操作抽象出来，使数据库相关操作对应用层来说是透明的，并可以定制化地调整性能。1.2 Apache Dubbo 是什么？
编码器 | 基于 Transformers 的编码器-解码器模型
2301_78287784的博客
06-06 491
基于 transformer 的编码器-解码器模型是表征学习和模型架构这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩。此外，建议读者对自注意力 (self-attention) 架构有一个基本了解，可以阅读 Jay Alammar 的复习一下原始 transformer 模型。简要回顾了神经编码器-解码器模型的历史，重点关注基于 RNN 的模型。
对Transformer中编解码器结构的深入理解
tortorish的博客
04-08 999
中，输出的形状是（batch_size, 1, num_hiddens），因为输出的形状是和query的形状相同的。最后在step2的纵向方向上进行传播，得到step2的输出，依次类推，得到整个预测阶段每一个时间步上的词元，将各时间步上的词元进行拼接，便得到了预测出的序列。训练阶段的Transformer是比较简单的，需要注意的是编解码器连接的地方，这里用红线表示，编码器的状态会被依次传递给。然后，该向量与多头注意力机制上一步（step1）中的向量在时间维度上做拼接，拼接后的向量作为注意力机制中的键值对。
无监督学习，生成模型：自编码器（AE,VAE）,GAN
m0_52289494的博客
06-14 2799
一 概念定义： 二 编码器 三 GAN 一 概念定义： 1、Unsupervised Learning 无监督学习 2、编码器 3、随机自编码器与GAN 4.Gan 对抗网络 1、Unsupervised Learning 无监督学习： 机器学习的三个类别： 监督学习，无监督学习，半监督学习 其中 监督学习 指是我们率先知道y，即我们有期望得到的值，无监督学习是没有y，让机器从海量数据中自己去寻找共性y，然后自己建立模型。 核心：监督机器学习很多......
生成模型--自编码器（Autoencoder，AE）
热门推荐
wydbyxr的博客
10-25 1万+
自编码器（Autoencoder，AE）   基本意思就是一个隐藏层的神经网络，输入输出都是x，并且输入维度一定要比输出维度大，属于无监督学习。一种利用反向传播算法使得输出值等于输入值的神经网络，它先将输入压缩成潜在空间表征，然后通过这种表征来重构输出。   参考资料：   https://blog.csdn.net/hjimce/article/details/49106869   https:...
大模型微调 - 基于预训练大语言模型的对话生成任务 训练代码
flyfish
09-12 432
flyfish
最新消息，OpenAI o 1 一种新的大型语言模型正在被引入
【CSDN】
09-13 987
据最新消息。我们正在引入OpenAI o 1，这是一种新的大型语言模型，经过强化学习训练，可以执行复杂的推理。O 1在回答之前思考--它可以在对用户做出响应之前产生一个很长的内部思考链。OpenAI o 1在竞争性编程问题（Codeforces）中排名第89百分位，在美国数学奥林匹克（AIME）资格赛中跻身美国前500名学生之列，并在物理，生物和化学问题（GPQA）的基准测试中超过人类博士水平的准确性。
使用大语言模型（LLM）修正小段乱码（Mojibake）为正常文本
最新发布
赖勇浩的编程私伙局
09-16 230
在上一篇文章ftfy：修正小段乱码（Mojibake）为正常文本的Python库中，我介绍了这个库。但随着持续的开发，我发现它仍然有一些解决不了的转换。如下： 可以看到后面的结果并没有转换成功，而且 也返回 ，非常爽快地承认了这一点。而当使用 chatGPT 来解决时，简单的提示语足以解决问题： 输出： 这就很妥贴。接下来只要优化一下提示词，让 LLM 返回 JSON 对象，就可以很方便地进行下一步处理了。
论文翻译：USENIX-2021 Extracting Training Data from Large Language Models
CSPhD-winston的博客
09-12 1103
现在，发布在私有数据集上训练的大型（数十亿参数）语言模型已经变得很常见。本文展示了在这种设置中，攻击者可以通过查询语言模型来恢复个别训练样本，从而执行训练数据提取攻击。我们在GPT-2上展示了我们的攻击，GPT-2是一个在公共互联网抓取的数据上训练的语言模型，我们能够从模型的训练数据中提取数百个逐字文本序列。这些提取的示例包括（公共）个人身份信息（姓名、电话号码和电子邮件地址）、IRC对话、代码和128位UUID。即使在训练数据中每个上述序列只包含在一个文档中，我们的攻击也是可能的。
生成式摘要与文本生成：编码器-解码器技术与应用
自然语言处理中的文本生成与文本摘要是一个核心议题，它涉及利用计算机算法理解和生成自然语言文本，以便于信息的高效传递和处理。本文档聚焦于第十章，主要讨论两种类型的文本摘要：抽取式摘要和生成式摘要。 生成...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lys_828

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值