Transformer
文章平均质量分 94
Transformer模型
Clichong
这个作者很懒,什么都没留下…
展开
-
论文阅读笔记 | Transformer系列——Focal Transformer
如有错误,恳请指出。文章目录1. Introduction2. Method2.1 Model architecture2.2 Focal self-attention3. Resultpaper:Focal Self-attention for Local-Global Interactions in Vision Transformerscode:未开源摘要:Vision Transformer及其变体在各种计算机视觉任务中显示出了巨大的前景,通过自注意力捕捉短期和长期视觉依赖的能力是成.原创 2021-10-31 12:26:19 · 2620 阅读 · 0 评论 -
论文阅读笔记 | Transformer系列——CSWin Transformer
如有错误,恳请指出。文章目录paper:CSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped Windowscode:https://github.com/microsoft/CSWin-Transformer摘要:Transformer设计中一个具有挑战性的问题是,全局自注意力的计算成本非常高,而局部自注意力通常会限制每个token的交互域...原创 2021-10-27 10:56:05 · 3258 阅读 · 5 评论 -
论文阅读笔记 | Transformer系列——Swin Transformer
如有错误,恳请指出。文章目录1. Introduction2. Related Work3. Swin Transformer Method3.1 Overall Architecture3.1.1 Architecture3.1.2 Swin Transformer block3.2 Shifted Window based Self-Attention3.2.1 Self-attention in non-overlapped windows3.2.2 Shifted window partit.原创 2021-10-25 21:41:29 · 1811 阅读 · 3 评论 -
论文阅读笔记 | Transformer系列——DeiT
如有错误,恳请指出。文章目录1. Introduction2. Related work3. Distillation through attention3.1 Soft distillation3.2 Hard-label distillation3.3 Distillation token3.4 Fine-tuning with distillation3.5 Joint classifiers4. Resultpaper:Training data-efficient image transf.原创 2021-10-23 16:40:47 · 924 阅读 · 1 评论 -
论文阅读笔记 | Transformer系列——Transformer in Transformer
如有错误,恳请指出。文章目录1. Introduction2. TNT Approach2.1 Preliminaries2.2 Transformer in Transformer2.3 Position encoding3. Resultpaper:Transformer in Transformercode:https://github.com/huawei-noah/CV-Backbones/tree/master/tnt_pytorch摘要:Vit模型中,会将图像划分为几个patc.原创 2021-10-19 21:04:54 · 2512 阅读 · 0 评论 -
论文阅读笔记 | 目标检测算法——DETR
如有错误,恳请指出。文章目录1. Introduction2. Related work2.1 Set Prediction2.2 Transformers and Parallel Decoding2.3 Object detection3. DETR model3.1 Object detection set prediction loss3.2 DETR architecture3.2.1 Backbone3.2.2 Transformer encoder3.2.3 Transformer de.原创 2021-09-27 17:03:20 · 3950 阅读 · 1 评论 -
学习笔记——Transformer结构的完整介绍
文章目录Introduction一、self-attention1.直观展示2.矩阵展示二、Multi-head self-attention三、Positional Encoding四、Transformer1.Encoder2.Decoder3.Cross attention五、Tips for Generation1.Schedualed Sampling2.Beam SearchIntroductionBert是无监督学习的transformer,transformer是一个seq2seq的m原创 2021-07-17 23:26:48 · 856 阅读 · 4 评论 -
【18】Vision Transformer:笔记总结与pytorch实现
下面借这篇blog记录一些阅读笔记,如果问题,恳请指出。前言paper原文:AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE一开始,Transformer在Attention is all you need这篇paper中提出,解决的自然语言中的序列问题,也就是将自然语言的word变成一个sequence问题,但是有效的解决了RNN的无法并行处理的问题,并且其可以考虑全局的咨询,而self-atte.原创 2021-07-29 12:48:48 · 2709 阅读 · 1 评论