seq2seq中的变形金刚

最新推荐文章于 2023-02-10 21:02:06 发布
最新推荐文章于 2023-02-10 21:02:06 发布
阅读量168 收藏
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bbwqsb/article/details/117530940
版权

这里写目录标题

序言

seq2seq2 Model从14年提出，到19年google提出的transformer成为主流印象。一般包括Encoder和Decoder两个部分。

总体结构

在这里插入图片描述

Encoder

总体来说：输入一个vector，输出一个vector（RNN,CNN,Self-Attention都可以做到）

Encoder的简单示例

每一个Block是多个layer连接，如这里面的一个Block经过一个自注意力和FC层
Encoder示意图

transformer中的Encoder（一层）

在这里插入图片描述

Decoder

全局总览

主要分为NT(输出的再作为输入)和NAT(一起输出)
在这里插入图片描述

表中有个END符号表示输入该结束了。
在这里插入图片描述

Begin可能是随机一个One-hot向量吧，每个输入都是One-hot向量形式。
在这里插入图片描述

Masked Multi-Head Attention

在这里插入图片描述

特点：产生 b i b^i bi只考虑 a 1 a^1 a1到 a i a^i ai的输入。
原因：因为Decoder中输入是一个一个产生的。
在这里插入图片描述

Cross Attention（Encoder和Decoder的互动）

这一块就是Cross Attention
在这里插入图片描述
Cross Attention内部实现
在这里插入图片描述

_Hsiung
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Transformer与seq2seq
01-06
Transformer与seq2seq Transformer模型的架构与seq2seq模型相似，Transformer同样基于编码器-解码器架构，其区别主要在于以下三点： Transformer blocks：将seq2seq模型重的循环网络替换为了Transformer Blocks，该模块包含一个多头注意力层（Multi-head Attention Layers）以及两个position-wise feed-forward networks（FFN）。对于解码器来说，另一个多头注意力层被用于接受编码器的隐藏状态。 Add and norm：多头注意力层和前馈网络的输出被送到两个“add
【文本到上下文 #7】探索 NLP 中的 Seq2Seq、编码器-解码器和注意力机制
最新发布
gongdiwudu的专栏
01-28 1066
在 NLP 系列的中，我们深入研究了序列到序列模型的复杂性，特别关注编码器-解码器架构和注意力机制。这种探索提供了对它们在各种 NLP 应用（如机器翻译和文本摘要）中的重要作用的见解。我们通过一个实际的例子来说明这些概念，强调它们在复杂的语言处理任务中的有效性。
【Seq2Seq】卷积序列到序列学习
sikh_0529的博客
10-02 2686
此模型与这些教程中使用的先前模型截然不同。根本没有使用经常性成分。相反，它使用卷积层，通常用于图像处理。有关用于情绪分析的文本卷积层的简介，请参阅此教程。简而言之，卷积层使用滤波器。这些滤镜具有宽度（在图像中也有高度，但通常没有文本）。如果筛选器的宽度为 3，则它可以看到 3 个连续的标记。每个卷积层都有许多这样的过滤器（本教程中有 1024 个）。每个过滤器将在整个序列中滑动，从开始到结束，一次查看所有3个连续令牌。这个想法是，这1024个过滤器中的每一个都将学习从文本中提取不同的特征。
transformer（”变形金刚“）
m0_70008390的博客
02-10 712
在seq2seq基础上提出，将注意力机制充分利用，对于注意力，可以这样理解，对于一个东西肯定有部分是重要的没有部分是不那么重要的，例如一张狗的图像，我们要理解这是一只狗，首先就要先关注到他的一些主要特征比如鼻子眼睛等，在此基础上进行拼接想象，加以背景结合，最终得到预测结果，对于文本也是一样，你在联想到食物时，吃这个词，要比修饰食物的形容词更容易让人点题，注意力机制就是动态的根据查询，关键和值的矩阵进行权重计算和预测分数的计算来，得出图片文本的主要特征，好用来预测主题。它是机器翻译领域中常用的评估指标。
【Seq2Seq】Attention is All You Need
sikh_0529的博客
10-03 952
与卷积序列到序列模型类似，转换器不使用任何递归。它也不使用任何卷积层。相反，该模型完全由线性层，注意机制和归一化组成。截至2020年1月，Transformer是NLP中的主要架构，用于为许多任务实现最先进的结果，并且似乎在不久的将来会出现。最受欢迎的Transformer变体是BERT（BEncoderRTransformers）和预训练版本的BERT通常用于替换NLP模型中的嵌入层 - 如果不是更多的话。处理预训练Transformer时使用的常用库是库，请参阅here。
seq2seq.pytorch：使用PyTorch进行序列到序列学习
03-04
python setup.py develop楷模当前可用的模型： 简单的Seq2Seq递归模型带注意解码器的递归Seq2Seq （GNMT）递归模型变形金刚-来自的仅关注模型数据集当前可用的数据集： WMT16 WMT17 OpenSubtitles 2016 COCO图片...
spotify-sequential-track-sequence-prediction:使用变形金刚，基于注意力的Seq2Seq和深度强化学习来预测会话中用户收听的接下来的10首歌曲
03-20
使用深度学习的基于会话的音乐推荐 这是CS7643-Deep Learning最终项目的存储库 作者艾哈迈德·汗...序列预测代码可以在.DRL / model / RL_Based_seq.ipynb中找到 基于LSTM的体系结构（Sagar的代码贡献） 将数据下
question_gen_v2
03-06
使用问题生成 :hugging_face: 变形金刚 项目详情问题生成是根据文本段落自动生成问题的任务。 最直接的方法是产生答案的问题。 在知道答案的问题生成中，向模型提供答案和段落，并要求通过考虑段落上下文来为该答案...
tention_is_all_you_need：Chainer制作的“注意力就是你所需要的”（Vaswani等，2017）的变形金刚
02-04
基础的Python实现变压器，没有回旋和复发的关注，基于seq2seq模型。 如果要查看体系结构，请参见 参见“”，Ashish Vaswani，Noam Shazeer，Niki Parmar，Jakob Uszkoreit，Llion Jones，Aidan N. Gomez，Lukasz ...
C语言通用范例开发金典.part2.rar
08-31
∷相关函数：Search_Seq函数 1.6.2 静态树表的查找 276 范例1-95 静态树表的查找 276 ∷相关函数：Search_SOSTree函数 1.6.3 二叉排序树的基本操作 280 范例1-96 二叉排序树的基本操作 280 ∷相关函数：...
EdgeConv--用于学习点云的动态图CNN
_计算机好苦
05-30 2959
文章目录1.INTRODUCTION 1.INTRODUCTION 开篇就diss了PointNet提出后，很多大牛都提出了一些在局部区域上的修改，但是仍然没有提取到点与点之间的信息。 另一类方法，则是可以直接将不规则的点云作为输入的深度网络，即PointNet系的网络。 PointNet，通过独立地处理每个点，能实现置换不变性（permutation invariance）。随后使用一个对称函数（symmetric function）来聚合特征。 之后，一些基于PointNet的改进网络会考虑点的局部特
self-attention——自注意力机制
_计算机好苦
06-02 851
这里写目录标题向量的形式机制流程多头注意力机制 向量的形式 声音向量 图中的每个结点 机制流程 先计算某个向量和其他向量之间的关联性。 WqW^qWq、WvW^vWv是两个矩阵，a1a1a1和a2a2a2乘以这两个矩阵后得到两个向量qqq,k,k,k，再点乘得到attention的分数ααα 得到后attention的分数ααα后再对每个aia^iai乘以一个矩阵得到对应的viv^ivi，再求和得b=Σb=\Sigmab=Σavavav 我们要训练的参数就是WKW^KWK,WQW^QWQ,WVW^
Mark——将点云数据进行莫顿编码
_计算机好苦
06-24 610
def round_to_int_32(data): """ Takes a Numpy array of float values between -1 and 1, and rounds them to significant 32-bit integer values, to be used in the morton code computation :param data: multidimensional numpy array :ret
STN 图像配准一些记录
_计算机好苦
06-24 475
这里写目录标题CNN的弊端 CNN的弊端 CNN不能识别放大缩小或者旋转过后的的同一物体，但是有一定的平移不变性，因为maxpoing的存在 通过NN学习这六个参数，然后就可以实现平移，这是计算机图形学的知识，关于二维图像平移变换的。。。不太懂 ...
【logistic/sigmoid模型】分类
_计算机好苦
05-30 439
首先diss了线性回归不适合做分类，引出了logistic/sigmoid模型，该模型的输出变量范围始终在0和1之间 决策边界 划分两个类别的临界函数，就是logistic函数里面的自变量z，0为临界值，大于0就有大于0.5的概率认为是 1，反之亦然。 决策边界参数如何得来，利用梯度下降法调整参数，确定边界。 代价函数 因为sigmoid函数较为复杂，如果用原始梯度下降法的代价函数代入会得到一个非凸函数，不太好找最小值。yi变成了y 也就是1和0两个值。 修正：利用其0~1的性质，想到对数函数的单调性。
生成网络的一些方式
_计算机好苦
07-01 406
import torch import torch.nn.functional as F from torch.autograd import Variable import matplotlib.pyplot as plt class Net(torch.nn.Module): def __init__(self, n_feature, n_hidden, n_output): super(Net, self).__init__() # 继承 __init__ 功能
无监督学习——聚类算法
_计算机好苦
06-07 314
这里写目录标题K-Means算法 K-Means算法 K-Means算法是一个迭代算法，主要两个步骤 簇分配：遍历每个点，根据距离分配到两个聚类中心。 移动聚类中心：找出所有同类的点，算法其位置均值，这就是新的聚类中心。再次进入循环，直到聚类中心不改变。 ...
从RNN到LSTM
_计算机好苦
06-01 185
一个词汇表示成一个Vector 输入一个向量，第n个词的输入和第n-1个词的输出相加，然后生成第n个词的概率 多层的 两种Network 两边同时进行RNN，除了可以获取从头到尾的信息，还能获取从尾到头的信息。 LSTM **一个局部LSTM：**每个f(x)函数都是用的sigmoid函数，就是生成0~1的值来表示这个阀门的打开程度大小。 流程：输入向量，输入门(Input Gate)以一定概率控制输入输入，遗忘门(Forget Gata)一一定概率记住这个值，然后输出门(Output Gate
seq2seq模型中双向lstm
06-07
Seq2Seq模型中使用双向LSTM的主要目的是提供更好的上下文信息，从而提高模型的准确性和效果。传统的单向LSTM只考虑到当前输入的上下文信息，而双向LSTM则同时考虑当前输入的上下文信息和后续输入的上下文信息，从而...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值