注意力机制
注意力机制
辣大辣条
这个作者很懒,什么都没留下…
展开
-
Segformer论文研读
segformer研读转载 2022-06-28 10:40:44 · 764 阅读 · 0 评论 -
关于vit-transformer的几个问题
1、图片切分后的向量,在前面连接一个cls_token的作用?类似于BERT中的[class] token,ViT引入了class token机制,其目的:因为transformer输入为一系列的patch embedding,输出也是同样长的序列patch feature,但是最后要总结为一个类别的判断,简单方法可以用avg pool,把所有的patch feature都考虑算出image feature。但是作者没有用这种方式,而是引入一个类似flag的class token,放在了...原创 2022-04-17 16:31:39 · 1958 阅读 · 0 评论 -
Vit-详解(结构拆分)
vit结构如下:Transformer主要包含Attention和FeedForwardvit结构手写(对照下面代码观看):vit实现代码如下,可对照上图理解:import torchfrom torch import nnfrom einops import rearrange, repeatfrom einops.layers.torch import Rearrange# helpersdef pair(t): return t if isinstan..原创 2022-04-17 15:48:04 · 6705 阅读 · 2 评论 -
nn.LayerNorm的实现及原理
nn.LayerNorm的实现及原理_harry_tea的博客-CSDN博客_layer norm转载 2022-04-17 15:35:51 · 1909 阅读 · 0 评论 -
Transformer问答
关于Transformer的那些个为什么 - 知乎答案解析(2)-3分钟彻底掌握Transformer的Encoder—满满干货!! - 知乎转载 2022-03-15 09:56:35 · 297 阅读 · 0 评论 -
Transformer中的positional Embedding详解
首先,直接放出论文中的公式:其中,dmodel为每个词向量的维度,pos为一个句子中每个词的位置,2i也代表了词向量的维度,因此,2i <= dmodel, 因此,i的取值为:[0,1,,,1/2*dmodel];按上图的示例,机器学习,分词后为两个词“机器”、“学习” ,设定每个词的维度Dmodel = 4;当对“机器”进行位置嵌入时,pos为0, i 的取值为0、1:PE(pos=0,2*i=0) = sin(0) = 0 i=0;PE(p...原创 2022-03-10 18:15:41 · 7020 阅读 · 3 评论 -
vit---vision_transformer
https://zhuanlan.zhihu.com/p/359071701转载 2021-05-06 10:15:54 · 206 阅读 · 0 评论 -
CV+Transformer之Swin Transformer
https://zhuanlan.zhihu.com/p/361366090转载 2021-06-24 14:48:22 · 200 阅读 · 0 评论 -
自注意力机制(Self-Attention)--通俗
https://zhuanlan.zhihu.com/p/365550383转载 2021-04-25 19:19:55 · 1119 阅读 · 0 评论 -
算法研读:Swin-transformer结构图
原创 2021-06-30 11:09:08 · 808 阅读 · 0 评论 -
图解Transformer(完整版)
https://blog.csdn.net/longxinchen_ml/article/details/86533005英文原版:The Illustrated Transformer – Jay Alammar – Visualizing machine learning one concept at a time. (jalammar.github.io)转载 2021-04-30 11:25:55 · 333 阅读 · 0 评论