文献阅读（104）Transformer

已于 2022-12-07 10:59:23 修改
阅读量67 收藏
点赞数
分类专栏： 算法论文 文章标签： transformer
于 2022-05-20 01:15:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tiaozhanzhe1900/article/details/124875397
版权

文章目录

  • 题目：An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
  • 时间：2021
  • 会议：ICLR
  • 研究机构：谷歌
  • 参考博客：https://blog.csdn.net/baidu_36913330/article/details/120198840

在这里插入图片描述

1 Patch Embedding

通过卷积核大小为 16 × 16， 步长为16，输出通道为768来实现，[224,224,3] --> [14,14,768] --> [196, 768]

2 Encoder

在这里插入图片描述
QKV = W * I:
Input: 197 * 768
Weight: 768 * ( 768 * 3)
Output: 197 * (768 * 3)
Mul: 197 * 768 * (768 * 3)

S = QKT:
Q: 197 * 768
K: 197 * 768
S: 197 * 197
Mul: 197 * 768 * 197

S’ = softmax(S/k):
S: 197 * 197
S’: 197 * 197
Mul: 197 * 197
Exp: 197 * 197
Add: 197 * 197
Div: 197 * 197

Z = S’ * V:
S’: 197 * 197
V: 197 * 768
Z: 197 * 768
Mul: 197 * 197 * 768

O = Z * Wo:
Z: 197 * 768
Wo :768 * 768
O: 197 * 768
Mul: 197 * 768 * 768

tiaozhanzhe1900
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
文献阅读笔记（Transformer）
weixin_45409613的博客
03-24 912
Transformer是一种流行的神经网络架构，用于处理自然语言处理（NLP）任务。它由"Attention is All You Need"一文中提出，相对于传统的循环神经网络（RNN）模型，Transformer采用了自注意力机制（self-attention），使得模型能够更好地捕捉输入序列中各个位置之间的关系。它通过同时考虑输入序列中的所有位置信息，而无需像RNN那样逐个位置地进行处理，大大提高了训练和推理的效率。Transformer的成功部分得益于其并行计算的能力和深层网络的表示能力。
Transformer最新综述
06-10
Transformer 在自然语言处理...到目前为止，已经有各种各样的 Transformer 变体（又名 X-former）被提出，但是，关于这些 Transformer 变体的系统而全面的文献综述仍然缺失。这篇综述对各种 X-former 进行了全面介绍。
Transformer文献阅读
轻舟已过万重山
08-27 497
文献阅读
经典文献阅读之--Swin Transformer
热门推荐
lovely_yoshino的博客
12-13 1万+
Transfomer最近几年已经霸榜了各个领域，之前我们在《》这篇博客中对DETR这个系列进行了梳理，但是想着既然写了图像处理领域的方法介绍，正好也按照这个顺序来对另一个非常著名的Swin Transformer框架。框架相较于传统Transformer精度和速度比CNN稍差，Swin Transformer可以说是CNN模型一个非常有力的替代方案。·下面是Swin Transformer在Github上的开源路径：。
【文献阅读】Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
qq_18283353的博客
07-14 889
Swin Transformer
transformer
zhangxu
09-28 3404
transformer最早于2017年google机器翻译团队提出，也就是著名的 《Attention Is All You Need》，transformer完全取代了以往的RNN和CNN结构，改为由transformer堆叠的方式构建模型。 transformer在NLP领域首先取得了非常惊人的效果，随后DETR首次将transformer引入到了CV的目标检测任务重，随后VIT完全抛弃了CNN，改为完全由transformer实现基础的图像分类任务，之后transformer在CV领域的应用也变得一发
文献阅读（50）—— Transformer 用于肺癌诊断预测
羊羊的博客
05-04 829
提出了两个精妙的trick，将纵向数据中的时间作为其中的考虑因素，将时间encoding和feature token一起作为transformer的输入，就可以考虑每一张照片的时间之后在attention的部分，有效的结合之前的ct信息，根据现在时间和时间的时间差值对attention机制中的queue,key 和value进行权重加持，因为时间间隔越久越不重要。很巧妙，最近看到很多文章在考虑时间的时候都是加一个scale。
ViT(Vision Transformer)论文阅读
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
06-14 504
ViT是2020年的一篇paper，目前(2023年2月)在google引用超11000次，CV图像领域中被广泛使用。在ViT出来之前，Transformer架构已经在NLP领域大显身手，在CV领域还是用的CNN，通过ViT这篇paper在CV中正式引入Transormer，且效果不错。ViT基本思路是把图像分为多个图像切片(每个小切片称为一个patch)，类似NLP中的一个词，多个patch拼接起来做为输入类似NLP中的Sequence。一张大小为(H*W*C)的图切分为N个大小为P*P*C。
Vision Transformer Adapter for Dense Predictions 文献阅读
Nicolas_Yin的博客
05-20 1854
最近看到一篇挂arxiv的论文Vision Transformer Adapter for Dense Predictions，应该是准备发ECCV 22，看了之后简单梳理一下。 1 摘要 这项工作设计了一个简单而强大的Vision Transformer Adapter，它通过两步弥补了ViT的一些问题，（1）引入ViT缺乏的图像先验信息；（2）通过额外的结构引入归纳偏置来实现与视觉特定模型相当的性能。他们在包括目标检测、实例分割、语义分割等多个子任务上进行了实验，分别获得了COCO目标检测Rank#8
CVPR2022会议论文，关于transformer的文献阅读笔记
mathematican的博客
06-21 1189
CVPR2022 Transformer相关文章阅读笔记
经典论文之（三）——Transformer
qq_43212927的博客
01-07 1019
小白读论文
2016-Spatial Transformer Networks理解2
01-17
http://blog.csdn.net/chamie/article/details/78979171
Vision in Transformer全文翻译
04-14
ViT的全文翻译，结构同原文保持一致。 1.全文翻译的markdown原文件 2.全文翻译的PDF 3..ViT的原文 4.知识点总结的博客http://t.csdn.cn/PLzkf 逐字逐句翻译Vision in Transformer
自监督视觉Transformer
04-11
在自然语言处理(NLP)中，自监督学习和transformer已经是选择的方法。最近的文献表明，transformers或某种协同监督(例如在教师网络方面)进行预训练时效果很好。这些监督的预训练的视觉变换器在下游任务获得了了非常好...
2016-Spatial Transformer Networks理解
01-17
http://blog.csdn.net/chamie/article/details/78979171
文献阅读（82）二值化神经网络
tiaozhanzhe1900的博客
07-05 3052
文章目录1 abstract & introduction2 Clamping Rectified Linear Unit3 量化方法3.1 前向近似3.2 后向近似 题目：Efficient Quantization for Neural Networks with Binary Weights and Low Bitwidth Activations 时间：2019 会议：AAAI ...
文献阅读（103）SNN
tiaozhanzhe1900的博客
07-10 469
文章目录名词解释 题目：Deep learning in spiking neural networks 时间：2019 期刊：Neural Network(B类) 研究机构：路易斯安那大学拉法叶分校 名词解释 spike-timing-dependent plasticity(STDP) Neuroscientists have identified many variants of this learning rule that falls under the umbrella term sp
文献阅读（90）
tiaozhanzhe1900的博客
06-10 444
文章目录1 abstract & introduction2 方法1 abstract & introduction2 方法3 实验 题目：Two-Step Quantization for Low-bit Neural Networks 时间：2018 会议：CVPR 研究机构：中科大/阿里 参考博客：https://blog.csdn.net/qq_19784349/article/details/83931420 参考博客：https://blog.csdn.net/JachinMa
文献阅读（83）HAQ
tiaozhanzhe1900的博客
03-20 383
文章目录1 abstract & introduction &related work2 approach2.1 observation(state space)2.2 action space2.3 硬件的直接反馈2.4 量化2.5 reward function奖励函数2.6 agent 题目：HAQ: Hardware-Aware Automated Quantization with Mixed Precision 时间：2019 会议：IEEE Conference on Com
Swin Transformer文献
最新发布
02-23
Swin Transformer是一种基于Transformer架构的图像分类模型，它在2021年由微软亚洲研究院提出。相比于传统的Transformer模型，Swin Transformer通过引入局部注意力机制和窗口化的方式来处理图像数据，从而在图像分类...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值