Transformer系列 _8 Attention 笔记2021-06-29

最新推荐文章于 2024-04-30 14:46:42 发布
最新推荐文章于 2024-04-30 14:46:42 发布
阅读量112 收藏
点赞数
分类专栏： 笔记 文章标签： 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38038430/article/details/118342977
版权

Attention

在这里插入图片描述
在这里插入图片描述
BLEU机器翻译的评判，越高翻译的越好。
在这里插入图片描述

用attention改进seq to seq模型

在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
c0 是前面H 所有状态的加权平均，c0也能知道前面所有信息。
利用c0和x1’做输入得到s1，s1和前面的所有h状态做align（）得到一系列a1…am新的权重，然后再与状态h做加权平均。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
attention 的时间复杂度o(mt)。
在这里插入图片描述
每条线对于一个a权重，越粗代表 两个状态越相似。

summary

在这里插入图片描述

qq_38038430
关注
专栏目录
Transformer介绍_前世今生_起源_理解transformer的由来_RNN_LSTM_Elmo_Attention_Transfomer---人工智能工作笔记0033
添柴程序猿的专栏
04-20 459
之前transformer是用于解决nlp领域的数据的,因为文字类的领域是可以把数据,做为字符输入框架的,但是后来,语音数据处理以后,然后图片,视频数据处理以后,也可以变成序列数据输入到transformer框架中,所以transformer就几乎被看做是通用的了.transformer可以看做是一个特征提取器,我们把一堆的数据,杂乱无章给他,他可以帮我们提取出来,数据的特点,比如数据是描述一个人的,大量的数据中,有很多的比例突出这个人能言善辩,那么。这里从图像处理开始,延伸到,语言处理..
Transformer系列 _9 Self-Attention 笔记2021-06-30
qq_38038430的博客
06-30 81
Self-Attention 这篇博文不是原始论文的LSTM，而是替换成了simpleRNN，主要是学习其想法 c0取代h0 怎么计算C2 计算权重（忽略h0，因为为全0向量） c2为前两项状态h的加权平均。 以此类推，计算h3，c3 后续一系列状态。 summary Self-Attention每次更新状态h会用状态c看一遍前面的状态，这样就不会遗忘之前的信息。可以用在所有RNN 上。 图中颜色深浅表示与前文最相关的程度。 ...
Transformer系列 _1 数据处理 笔记2021-06-29
qq_38038430的博客
06-29 308
数据处理 课程来源 ： YouTube wangshuseng https://www.youtube.com/watch?v=NWcShtqr8kc&t=0s PPT ： https://github.com/wangshusen/DeepLearning 年龄是数值特征 性别是二分类特征 国籍是分类特征 对国籍进行one-hot encoding ，因为国籍之间是不能表示大小的。 注意将0保留 当作“未知”类别，比如一些缺失的数据。 例子： Why using one-hot
Transformer系列 _10 Transformer model- 剥离RNN，保留Attention 笔记2021-06-30
qq_38038430的博客
06-30 109
Transformer Model Attention without RNN 本问不讲细节，只关注attention模块。 Revisiting Attention for RNN seq to seq 模型 最后一个状态Hm是对所有输入的概括 Wq和Wk是align函数的参数，需要从数据中学习 Query用来匹配，Key用来被Query匹配,a代表匹配程度，匹配程度越高权重越大。一共三个参数矩阵W how to remove RNN while keeping atten
Transformer系列 _11 Transformer model- 从Attention到Transformer 笔记2021-06-30
qq_38038430的博客
06-30 311
From Shallow to Deep 参数不共享。 stacked self-attention layers 注意全连接层Dense参数共享，Wu transformer’s encoder 每个block之间能加入skip connection。 transformer’s Decoder: one Block put everything together trannsformer :encoder network Comparison with RNN Se
transformer学习笔记：self-attention
weixin_48799576的博客
09-03 942
transformer学习笔记
【Transformer】SIMPLIFIED SELF-ATTENTION FOR TRANSFORMER-BASED END-TO-END SPEECH RECOGNITION 阅读笔记
Vincy_King
08-12 747
2021 IEEE由于这篇所涉及的领域我并不了解，所以仅提供instruction和method部分，experiment其实也不太详尽，就不多赘述，需要者可自行观看。总的来说，本篇paper最大的亮点是提出了使用FSMN内存块来形成Q和K向量的SSAN层，并作用于Transformer模型，在确保性能没有降低的前提下，减少了传统Transformer训练的时长。由于Transformer模型在建模长期依赖关系方面的优势，因此已被引入端到端语音识别中，在各种任务上具有最先进的性能。然而，这种改进通常是通过使
李宏毅自注意力机制(self-attention)和Transformer详解笔记
qq_45607888的博客
01-11 1446
在self-attention中，a1与a2,a3,a4分布计算相关性，把a1乘以wq得到q1（q有个名字叫query），a2乘以wk得到k2（k称之为key），然后q1与q2做点积得到α1,2（老师课程中说的是inner product，推测是口误了），α1,2称为a1与a2的attention score，a3与a4同理得到a1,3和a1,4，self-attention的输入是一串的vector，这些vector可能是整个网络的输入，也可能是某个隐藏层的输出，每个b向量都是考虑所有的a向量而生成的。
Swin-Transformer的Attention Mask笔记
yanghao201607030101的博客
11-20 775
Swin Transformer中关于shift windows，shift mask的理解。
attention_transformer_lecture_11.pdf
05-09
斯坦福大学计算机视觉和深度学习领域的专家李飞飞与其团队成员Ranjay Krishna和Danfei Xu共同开展了《Attention and Transformer》的讲座，这次讲座是系列讲座的第11讲，其中详细介绍了注意力机制（Attention）和...
人工智能_大模型045_模型微调005_训练_预训练_微调_轻量化微调_Transformer原理和模型推理过程_LM Head_SelfAttention---人工智能工作笔记0180
最新发布
添柴程序猿的专栏
04-30 86
3.然后再来看Fine-Tuning,这个是微调,表示在预训练的模型基础上,也就是拿了很多语料训练出来的模型基础上,然后再拿一些,垂直领域的知识,也就是某些专业领域的知识,拿过来,然后,叫做添加一个HEAD层,和原来的模型,放到一起,进行训练,这样相当于调整了原来的参数,并且添加了一些参数.这个训练过程也很慢,消耗很大.然后我们我们之前做的手写体识别就是,完全找了一些垂直领域的专业知识,直接训练的,没有基于什么模型,所以是直接的训练,training,这个模型比较小.
SSF（snapshot freeze） 心脏冷冻技术 （笔记1）
qq_38038430的博客
04-17 1984
智能 ? 自适应 冠脉追踪 = 研究目标 达到减少伪影 方法上（硬件）和数据重建 运动追踪跟拍系统，分析描述单个心跳周期内冠脉的运动特征 解决高心率问题 CTCA Image Quality Improvement by Using Snapshot Freeze Technique Under Prospective and Retrospective Electrocardiographic Gating（2015） SSF showed higher interpretability than st
基于GAN的合成医学图像增强技术可提高CNN在肝脏病变分类中的性能
qq_38038430的博客
03-20 1094
GAN-based Synthetic Medical Image Augmentation for increased CNN Performance in Liver Lesion Classification 利用GAN架构来合成高质量的肝脏病变ROI 医学成像领域的最大挑战是如何处理小的数据集和数量有限的带注释的样本，尤其是在采用需要标记数据和进行大量培训的监督机器学习算法时。 最常见的数据增强方法包括对数据集图像进行简单修改，例如平移，旋转，翻转和缩放。 该数据集由182个门户阶段的二维CT扫描
acgan
qq_38038430的博客
03-18 576
论文笔记 acgan(Conditional Image Synthesis with Auxiliary Classifier GANs) gan损失函数： acgan损失函数： D is trained to maximize LS + LC while G is trained to maximize LC - LS.AC-GAN学习与类标签无关的z表示形式 广义上讲， 发生器G的结构是一系列“反卷积”层，它们将噪声z和c类别转换为图像 判别器D是具有LeakyReLU非线性的深度卷积神经网络 证
Transformer系列 _6 文本生成 笔记2021-06-29
qq_38038430的博客
06-29 222
Text Generation 怎么训练RNN 红色为样本，蓝色为标签 如果RNN训练莎士比亚的书，生成的文本为莎士比亚的风格。 Training a Text Generator character 一百维度以下，与之前的Word不一样，英语中常用的词语10000＋，vocabulary一万维度，太高了，需要一个矩阵降维。 按照之前的代码训练好网络后 Predict the Next Char 如何选择下一个字符？ 完全确定的， 随机抽样，过于随机， 利用temperatu
Transformer系列 _2 文本处理和词嵌入 笔记2021-06-29
qq_38038430的博客
06-29 216
Text Processing and Word Embedding Text to Sequence 重视：大小写意义不同，有些词对于二分类没有意义，拼写错误等等。 由于sequence长度不同，需要对齐 Word Embedding:Word to Vector ont-hot 维度太高，比如rnn的输入是和输入维度成正比的，会导致参数过多。 d由用户决定，大小决定机器学习的表现。最好用cross-entrophy来决定 这些词带有感情色彩，不同的感情色彩有不同的集群。 Logi
Transformer系列 _12 BERT(预训练transformer模型) 笔记2021-06-30
qq_38038430的博客
06-30 201
Bidirectional Encoder Representations from Transformers (BERT) BERT主要想法 Task 1:Predict Masked Words Um 包含整句话信息 上下文信息 Task 2: Predict the Next Sentence 对c 进行2分类来判断两句子是不是相邻。 Combining the two methods Trainging: loss 为三个loss 的加和。 不需要人工标注。 计算
Transformer系列 _7 机器翻译 笔记2021-06-29
qq_38038430的博客
06-29 174
Neural Machine Translation many to many 数据集 预处理 两者都可以，实际机器翻译是Word-level，因为数据集足够大 为什么采用两个tokenizers? 两者语言的字符是不一样的，不同的语言也有不同的分词 training seqtoseq model decoder的初始状态是encoder的最后一个状态，decoder靠state（h,c）来知道前面的输入的英语句子 第一个输入必须是起始符，根据输出的概率p与y计算crossentrop
Transformer检测技术学习笔记
资源摘要信息:"transformer保护-mai笔记" 从标题和描述来看，这份笔记专注于围绕"transformer"的概念，以及名为"transformertection-mai"的特定内容或主题。由于"transformer"这个词通常与深度学习和自然语言处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值