A FREE LUNCH FROM VIT【阅读笔记】

已于 2024-01-24 20:48:56 修改
阅读量55 收藏
点赞数
分类专栏： 论文阅读 文章标签： 笔记
于 2023-11-19 01:10:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bettle_king/article/details/134486041
版权
这篇笔记探讨了论文《A FREE LUNCH FROM VIT》中提出的层间注意力机制，该机制旨在优化Transformer模型的分类性能。文章指出ViT各层的注意力权重贡献不均，通过引入新的层间注意力模块(SACM)来增强模型的表现。SACM的核心思想是'attention in attention'，在推理阶段仅使用全局损失。消融实验显示，适当地调整层注意力权重对模型性能至关重要。
摘要由CSDN通过智能技术生成

论文地址：https://arxiv.org/abs/2110.01240
代码暂时未开源
好的文章推荐:https://zhuanlan.zhihu.com/p/645259799
好的文章推荐:https://zhuanlan.zhihu.com/p/418830088?utm_id=0
好的文章推荐:https://www.52cv.net/?p=8453
该论文2022发布在ICASSP上。

目录

前言

建议先看一下,VIT,Trans-FG,RAMS-Trans
在这里插入图片描述
由上图观察到了ViT各层产生的注意力权重，其对于最终模型分类的贡献是不相等的。 所以如果能对层间的权重进一步引入注意力机制来学习，最终分类应该就能取得更好的结果。据此，作者设计了新的层间注意力机制，来进一步提升模型分类表现。
TransFG存在的问题：

  • 当生成注意图以选取token时，TransFG不能完全使用所有Transformer层的注意。
  • 着眼于全局损失的监管，缺乏多尺度、多分支的结合。

网络架构

在这里插入图片描述

最低0.47元/天 解锁文章
幽殇默
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
四级词汇——完整版
weixin_43474701的博客
07-28 2万+
四级词汇——完整版 A abandon/ ə’bændən/ vt.丢弃；放弃，抛弃 　　aboard/ ə’bɔ:d/ ad.在船(车)上；上船 　　absolute/ ‘æbsəlu:t/ a.绝对的；纯粹的 　　absolutely/ ‘æbsəlu:tli/ ad.完全地；绝对地 　　absorb/ əb’sɔ:b/ vt.吸收；使专心 　　abstract/ ’æbstrækt/ n.摘要 　　abundant/ ə’bΛndənt/ a.丰富的；大量的 　　abuse/ ə’bju:z, ə’b
4、6word
weixin_38170829的博客
05-06 9987
英语四级+六级词汇大全（全部带“音标”） 第一部分：四级词汇大全 A abandon/ ə’bændən/ vt.丢弃；放弃，抛弃 　　aboard/ ə’bɔ:d/ ad.在船(车)上；上船 　　absolute/ ‘æbsəlu:t/ a.绝对的；纯粹的 　　absolutely/ ‘æbsəlu:tli/ ad.完全地；绝对地 　　absorb...
3500 vocabulary
overwinner
03-26 4万+
听力单词写作单词阅读单词记忆曲线找共性，找对比，找树形声音，文字，典故声音：bang巨响，爆炸bomb炸弹文字：drag拽 draw吸引，拉，画 drawer抽屉，起草者draft草稿，拟稿 drift漂移，漂流 dragon龙train tractor拖拉机 abstract抽象典故：A alimentW waterM mountainS sea salt salaryhatch孵化，开口 he...
大学英语四级单词
热门推荐
youngerhao的专栏
11-16 18万+
a [Ai, 4, 1n, 4n] art.一(个)；任何一(个)；每一(个) abandon [4'b1nd4n] vt.离弃，丢弃；遗弃，抛弃；放弃 ability [4'biliti] n.能力，本领；才能，才智 able ['Aib4l] a.能够…的，得以…的；有才干的 aboard [4'b3:d] prep. adv.在(船、飞机、车)上，上船等 about [4'b2ut
【VIT】阅读笔记
bettle_king的博客
11-09 63
笔记
Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet阅读笔记（小关键点记录）
wangtao990503的博客
04-15 2826
摘要 作者开篇首先指出了ViT的不足：在中小型数据集上的效果不如CNNs，并分析原因： 1. 输入图像通过硬分割的简单词语切分未能对相邻像素之间的边缘和线条等重要局部结构进行建模，导致训练样本效率低； 2. ViT的冗余注意力主干设计导致固定计算预算和有限训练样本的特征丰富度有限。 基于此，作者提出了他的模型 -- Tokens-To-Token Vi-sion Transformer (T2T-ViT)可以直接在imgNET上有比resNet更好的效果，主要变换...
Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet（阅读笔记）
GXU_PJM的博客
03-06 1288
Abstract 在ImageNet上从头训练一个vision transformer（ViT）模型，ViT模型可以不依赖CNN，直接应用于图像块序列进行图像分类，但是在中等大小数据集（例如imageNet)上的效果不如CNN，主要原因：1.输入图像简单token化无法建模重要的局部特征。2.ViT的冗余注意力主干网设计在固定负载和有限样本约束下限制了特征丰富性。本文提出渐进式token化（Tokens to token)使每个Token更好地建模局部信息，借助CNN架构思想使用deep-narrow结构
TED-net: Convolution-free T2T-ViT-based Encoder-decoder Dilation network 阅读笔记（小关键点记录）
wangtao990503的博客
04-15 2310
笔者的研究方向即为低剂量CT去噪，这篇论文可以说是transformer在该领域的一次重要应用，欢迎大家在评论区一起讨论学习。 本文提出了一种基于无卷积T2T-ViT的编码器-解码器膨胀网络（TED-net），以丰富LDCT去噪算法家族。该模型没有卷积块，由一个带唯一transformer的对称编解码块组成。 PS：前置论文可以参考笔者的前两篇阅读笔记，包括：ViT、T2T-ViT。 介绍 作者在这部分并没有展示他的创新点，只是针对前人的优势和不足之处做了分析说明，在此不再赘述。 方法 .
维度不固定的多维数组形参笔记
H2z1220的博客
09-05 203
假如我有多个元素个数都不一致的多维数组都需要调用这个函数进行处理，这个形参问题就凸显出来了，总不能创建N个不同的函数来进行处理吧？这样也太繁琐了，而且也适用度不高。这个函数可以传入多维数组，但元素个数必须是固定的，假如传入一个str[][20]，元素个数不一样的数组，那么这个函数就不适用了，且会报错。所有数据在存储空间里面都是有地址的，那么就可利用指针寻址来获取到相应的数据。在查找了一些资料后受到了一点启发。而这里也可利用指针来指向多维数组。
【C++学习笔记】数组与指针（三）
qq_38196449的博客
09-09 816
0（空字符）
Webpack学习笔记
m0_74375748的博客
09-09 873
定义静态模块：指的是编写代码过程中的,html,css,js,图片等固定内容的文件打包：把静态模块内容，压缩，整合，转译等（前端工程化）less/sass转成css代码把ES6+降级成ES5支持多种模块标准语法使用：webpack打包默认出口是dist下的main.js。
C++学习笔记（10）
qq_60098634的博客
09-07 663
unordered_multimap 和 unordered_map 的区别在：unordered_multimap 允许关键字重复，而。unordered_multiset 和 unordered_set 的区别在：unordered_multiset 允许关键字重复，而。
qmt量化交易策略小白学习笔记第61期【qmt编程之期权行情数据--get_market_data_ex函数】
fanglue3705的博客
09-09 462
获取期权行情数据 获取期权最新数据，首先需要进行数据订阅。完成合约订阅后，用get_market_data_ex函数即可提取相关信息。这个过程包含两大步骤： 第一，通过订阅操作确保能接收到你感兴趣的期权合约的更新； 第二，调用get_market_data_ex函数来实际获取并处理这些订阅到的数据,如果需要用到历史数据或过期合约数据，需要使用download_history_data进行下载。
【机器人工具箱Robotics Toolbox开发笔记（一）】Matlab机器人工具箱简介
m0_72676510的博客
09-04 234
MATLAB的Robotics Toolbox（简称RTB）是一款在MATLAB环境下进行机器人建模、仿真和控制的工具箱。它由Peter Corke教授开发，已成为机器人领域中最受广泛使用的MATLAB工具箱之一。
7月刷题笔记
sad_liu的博客
09-04 1383
刷题笔记—7月 1512.好数对的数目(哈希) class Solution { public: int numIdenticalPairs(vector<int>& nums) { int cnt = 0; unordered_map<int, int> hash;//nums[i]---个数 for(int i = 0; i < nums.size(); i++) { cnt += ha
sheng的学习笔记-AI-规则学习（rule learning）
最新发布
coldstarry的专栏
09-09 680
机器学习中的“规则”(rule)通常是指语义明确、能描述数据分布所隐含的客观规律或领域概念、可写成“若……，则……”形式的逻辑规则。​“规则学习”(rule learning)是从训练数据中学习出一组能用于对未见示例进行判别的规则。一条规则形如：在数理逻辑中“文字”专指原子公式(atom)及其否定。与神经网络、支持向量机这样的“黑箱模型”相比，规则学习具有更好的可解释性，能使用户更直观地对判别过程有所了解。另一方面，数理逻辑具有极强的表达能力，绝大多数人类知识都能通过数理逻辑进行简洁的刻画和表达。
C语言学习笔记 Day16（C10文件管理--下）
给bug两拳的博客
09-04 1284
1、查询文件状态；2、文件的随机读写：fseek()、rewind()；3、文件的删除和重命名：remove()、rename()；4、文件缓冲区：基础概念、更新缓冲区
经验笔记：IM系统中的点对点传输
qq_45831414的博客
09-05 440
综上所述，P2P传输为IM系统带来了诸多优势，但也需要克服一些技术上的难题。通过合理的技术选型和实现方案，可以有效解决这些问题，实现高效、安全的即时消息传输。未来，随着技术的进步，P2P传输有望在更多的IM系统中得到广泛应用，为用户提供更加优质的服务体验。在传统的IM系统中，所有的消息都需要通过中心服务器进行路由，这不仅增加了服务器的压力，也可能带来隐私泄露的风险。P2P传输则可以让消息直接在用户之间传输，减少了中间环节，提高了传输效率，并增强了通信的安全性。
from keras_vit import vit
06-04
`from keras_vit import vit` 是一种使用 Keras 实现的 Vision Transformer（ViT）模型。Vision Transformer 是一种新兴的计算机视觉模型，它采用了自注意力机制（Self-Attention Mechanism）来处理图像数据。ViT 将图像分成若干个小块，然后将每个小块转换为向量，再通过多层的自注意力机制来处理这些向量，最终得到整个图像的特征表示。与传统的卷积神经网络（CNN）相比，ViT 可以更好地处理长距离的关系，因此在一些图像分类和目标检测任务上表现出色。 如果您想了解更多关于 ViT 模型的信息，可以参考以下链接： - [An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale](https://arxiv.org/abs/2010.11929) - [Vision Transformer (ViT) - An Image is Worth 16x16 Words](https://analyticsindiamag.com/vision-transformer-vit-an-image-is-worth-16x16-words/) - [Understanding Vision Transformers (ViT) – with Python code](https://www.analyticsvidhya.com/blog/2021/06/understanding-vision-transformers-vit-with-python-code/)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值