AI学习记录 - decoder层如何与ecoder层结合

已于 2024-08-16 00:12:24 修改
阅读量154 收藏
点赞数 2
文章标签： 人工智能 学习
于 2024-08-15 18:14:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43954090/article/details/141228435
版权

接下来讲的如下 decoder层如何与ecoder层怎么使用注意力机制结合的

在这里插入图片描述

公式为：

在这里插入图片描述

先生成掩码，然后把随机权重放进去，重点是这个掩码形状是固定的，负无穷大动态生成的，因为用户输入的句子长度不固定，有空余的位置我们需要填充 [PAD], [PAD]， 都是负无穷大，下面红色交叉都设置成[PAD]

将encoder的output的语义按照 权重 叠加到 START 和 h 上面，每次decoder的第一个token都是 START,固定的.

得出新的矩阵，叠加上了输入词： abcd[PAD][PAD] 的语义，每一行都是新的词向量

在这里插入图片描述

victor-AI最好的学习方式是画图
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习多变量时间序列预测：Encoder-Decoder LSTM算法构建时间序列多变量模型预测交通流量+代码实战
data+scenario+science+insight
06-12 2746
深度学习多变量时间序列预测：Encoder-Decoder LSTM算法构建时间序列多变量模型预测交通流量+代码实战 LSTM是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。在自然语言处理、语言识别等一系列的应用上都取得了很好的效果。 《Long Short Term Memory Networks with Python》是澳大利亚机器学习专家Jason Brownlee的著作，里面详细介绍了LSTM模型的原理和使用。 序列预测问题通常涉及预测真实序列中的下一个值或者
万字干货 | 图表示学习中的Encoder-Decoder框架
abcdefg90876的博客
11-23 1931
点击上方“小小挖掘机”，选择“星标”公众号第一时间获取价值内容图表示学习Encoder-Decoder框架介绍和拓展本篇文章主要从一篇关于Graphs的表示学习的调研文章出发，介绍基于G...
大模型开发 - 一文搞懂Encoder-Decoder工作原理
人工智能曾小健
04-06 1185
通过计算Decoder的隐藏状态与Encoder输出的每个词的隐藏状态的相似度（Score），进而得到每个词的Attention Weight，再将这些Weight与Encoder的隐藏状态加权求和，生成一个Context Vector。：第一个子层是一个带掩码的多头自注意力子层，第二个子层是一个多头注意力子层（编码器到解码器），第三个子层是一个前馈全连接子层。编码器（Encoder）：使用一个循环神经网络（RNN）作为编码器（Encoder），读取输入句子，并将其压缩成一个固定维度的编码。
深度学习论文: LEDnet: A lightweight encoder-decoder network for real-time semantic segmentation及其PyTorch实现
邹小驴
07-13 414
无
Bahdanau 注意力(具备注意力机制的Encoder-Decoder模型)
西小庄村高伟 的博客
10-28 1741
Seq2Seq机器翻译模型，具备加性注意力机制的Encoder-Decoder模型
【RedNet2018】RedNet: Residual Encoder-Decoder Network for indoor RGB-D Semantic Segmentation
我的博客
09-27 3209
室内语义分割一直是计算机视觉中的一项困难任务。在本文中，我们提出了一个用于室内RGB-D语义分割的RGB-D残差编码器-解码器架构，名为RedNet。在RedNet中，残差模块作为基本构件被应用于编码器和解码器，并使用跳过连接来绕过编码器和解码器之间的空间特征。为了纳入场景的深度信息，我们构建了一个融合结构，它分别对RGB图像和深度图像进行推理，并将它们的特征融合在若干层上。为了有效地优化网络参数，我们提出了一个 "金字塔监督 "训练方案，在解码器的不同层上应用监督学习，以应对梯度消失的问题。实验结果表明，
Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation
qq_39778575的博客
10-04 2897
预备知识： RNN：循环神经网络 处理序列化数据，一般用于多输入多输出，数据之间存在关联性 U：输入层到隐藏层的权重矩阵 V：隐藏层到输出层的权重矩阵 W：隐藏层S不仅仅取决于当前这次的的输入x，还取决于上一次隐藏层的值St-1，权重矩阵W就是隐藏层上一次的值作为这一次输入的权重。 用公式表示如下： Ot=g(V*St) St=f(U*Xt+W*St-1) 在处理序列化数据时，当序列数据比较长时，RNN展开的层次就会越来越...
深入理解深度学习语义分割
m0_61899108的博客
02-12 781
引言 本文转载于笔记 | 深入理解深度学习语义分割 笔记思路是：机器学习-->>深度学习-->>语义分割。 一、回顾机器学习 二、深度学习回顾 激活函数 这些卷积是语义分割的一个核心内容！ 三、语义分割简介 什么是语义分割？ 语义分割（semantic segmentation）：按照“语义”给图像上目标类别的每一个点打一个标签，使得不同种类的东西在图像上区分开，可以理解为像素级别的分类任务。 ...
CUFD---红外和可见光融合（编解码网络）
weixin_43690932的博客
10-05 1561
仅供自己第一次略读
基于深度学习Encoder-Decoder框架的聊天机器人
07-13
【作品名称】：基于深度学习Encoder-Decoder框架的聊天机器人 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【项目介绍】： ...
基于深度学习Encoder-Decoder框架的聊天机器人.zip
02-15
1. 人工智能：聊天机器人是AI的一个实例，它利用深度学习技术如循环神经网络（RNN）、长短时记忆网络（LSTM）或Transformer架构，通过编码器（Encoder）对输入的对话历史进行理解，解码器（Decoder）则生成相应的...
人工智能项目资料-基于深度学习Encoder-Decoder框架的聊天机器人.zip
02-02
【探索人工智能的宝藏之地】 无论您是计算机相关专业的在校学生、老师，还是企业界的探索者，这个项目都是为您量身打造的。无论您是初入此领域的小白，还是寻求更高层次进阶的资深人士，这里都有您需要的宝藏。不仅...
基于深度学习Encoder-Decoder框架的聊天机器人+源代码+文档说明
11-09
2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。...
C/C++开发，opencv内置背景减除算法与运动检测
技术需要分享
08-14 1195
C/C++开发，opencv内置背景减除算法的完整代码及编译过程示例
机器学习（3）-- 一元线性回归
m0_74896766的博客
08-18 784
本篇介绍了如何实现一元线性回归，其中需要注意的是，对于相关系数过小的数据，我们要进行选择调整。
Spark MLlib 特征工程(上)
08-14 5065
特征选择的动机，在于提取与预测标的关联度更高的特征，从而精简模型尺寸、提升模型泛化能力。特征选择可以从两方面入手，业务出发的专家经验和基于数据的统计分析。归一化的目的，在于去掉不同特征之间量纲的影响，避免量纲不一致而导致的梯度下降震荡、模型收敛效率低下等问题。归一化的具体做法，是把不同特征都缩放到同一个值域。在这方面，Spark MLlib 提供了多种归一化方法供开发者选择。
吴恩达机器学习-C2W2-Relu(线性整流函数)
最新发布
weixin_50946965的博客
08-18 549
吴恩达机器学习实验室中文翻译-C2W2-Relu
GraphRAG：复杂查询的知识图谱新框架
YeJuliaLi的博客
08-14 937
微软最近发布了名为 GraphRAG（Graphs + Retrieval Augmented Generation）的创新 RAG 框架，这是一个将文本提取、语义网络分析，与大语言模型（LLM）的提示和总结功能结合在一起的端到端系统，用于深入理解文本数据集。在对私有数据中的复杂文本信息进行文档分析时，GrahRAG 使用 LLM 生成的知识图谱来大幅提高问答性能。这里的私有数据集是指 LLM 没...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值