AdaptFormer

最新推荐文章于 2024-05-21 23:36:04 发布
最新推荐文章于 2024-05-21 23:36:04 发布
阅读量66 收藏
点赞数
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42967102/article/details/134502252
版权

1，论文相关信息

在这里插入图片描述
AdaptFormer: Adapting Vision Transformers for Scalable Visual Recognition 原文链接
Accepted by NeurIPS 2022

2，动机

将预训练模型vision transformers适配到不同的视觉识别下游任务中

3，方法

在这里插入图片描述
Down和Up相当于两个Linear,不是很明白有效的原因在哪里，这篇论文的思想就是如何将大规模预训练Vit模型用于下游任务，而不用全量微调参数，所以这篇论文微调的点在于对MLP做了改进。

  • 正文没有看见明显的论证
  • 下游的实验比较多，除了图像分类，还有Video domain
  • 给出的结果比VPT好
qq_42967102
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
AdaptFormer学习笔记
charles_zhang_的博客
08-06 1013
尽管预训练的视觉转换器(ViT)在计算机视觉方面取得了巨大的成功，但使ViT适应各种图像和视频任务是具有挑战性的，因为它具有繁重的计算和存储负担，其中每个模型需要独立和全面地微调以适应不同的任务，这限制了它在不同领域的可移植性。为了应对这一挑战，我们提出了一种有效的自适应方法，即AdaptFormer，它可以有效地将预训练的ViTs适应到许多不同的图像和视频任务中。它拥有比现有技术更吸引人的几个优点。...
[Transformer] AdaptFormer: Adapting Vision Transformers for Scalable Visual Recognition
Cherry的笔记本
06-24 768
adaptformer
论文快读：AdaptFormer
Yiyang的专栏
05-29 713
AdaptFormer 港大，腾讯AI实验室，港中文贡献的文章：AdaptFormer: Adapting Vision Transformers for Scalable Visual Recognition ( arXiv:2205.13535v1 [cs.CV] 26 May 2022 ) 他们觉得最新的transformer文章做的same network with task-specific weight工作，用的是同样的网络，但是对每个下游任务都要fine-tune模型，这样的模型是不可
AdaptFormer: Adapting Vision Transformers for Scalable Visual Recognition
weixin_48907099的博客
07-02 347
ViTs 在视觉识别领域取得了巨大成功，后续需要使 ViT 适应各种图像和视频识别任务。由于计算量大、存储空间大，自适应具有一定的挑战性。每个模型都需要一个独立而完整的微调过程来适应不同的任务，这限制了它在不同视觉域的可迁移性。为了解决这一挑战，提出了一种有效的 Transformer 自适应方法，即 AdaptFormer，它可以有效地将预训练的 ViTs 适应于许多不同的图像和视频任务，具有比现有技术更吸引人的几个好处。
【论文阅读】AdaptFormer: Adapting Vision Transformers forScalable Visual Recognition
aixiaomi123的博客
02-12 409
【论文笔记】AdaptFormer: Adapting Vision Transformers forScalable Visual Recognition
【AI达人特训营】AdaptFormer：一种新型fine-tuning方法复现
m0_63642362的博客
06-23 676
AdaptFormer 论文地址：https://arxiv.org/abs/2205.13535简介： 港大，腾讯AI实验室，港中文贡献的文章：AdaptFormer: Adapting Vision Transformers for Scalable Visual Recognition. 研究人员认为最新的transformer文章做的是same network with task-specific weight工作，用的是同样的网络，但是对每个下游任务都要fine-tune模型，这样的模型是不可拓展
NIPS 2022 | 一文了解腾讯AI Lab入选的13篇论文
zenRRan的博客
12-08 1068
每天给你送来NLP技术干货！来源：腾讯AI实验室点击这里进群—>加入NLP交流群近日，NeurIPS 2022 正以线上与线下结合形式举行，为期两周。作为当前全球最负盛名的 AI 学术会议之一，其投稿量逐年攀升，今年各界一共提交了 10411 篇论文，2672 篇获接收，最终接收率为 25.6%。腾讯 AI Lab 共有 13 篇论文被本届会议接收，其中 1 篇被选为口头报告，以及 2 篇 ...
论文阅读笔记：Task-Customized Mixture of Adapters for General Image Fusion
HollowKnight的博客
05-20 667
论文阅读笔记：Task-Customized Mixture of Adapters for General Image Fusion
SAM+RS：ClassWise-SAM-Adapter: 微调SAM适应SAR域的语义分割
m0_64106140的博客
01-23 1289
ClassWise-SAM-Adapter (CWSAM)设计用于在星载合成孔径雷达(SAR)图像上对SAM进行土地覆盖分类。提出的CWSAM冻结了SAM的大部分参数，并结合轻量级adpter进行参数高效微调，并设计了一个分类掩码解码器来实现语义分割任务。这种自适应调整方法可以有效地对SAR图像进行土地覆盖分类，平衡精度和计算需求。此外，任务特定输入模块通过基于mlp的层注入SAR图像的低频信息，提高模型性能。
深度学习之基于Yolov7驾驶员疲劳检测系统
2301_79809972的博客
05-17 926
一、项目背景随着汽车保有量的不断增加，驾驶安全问题日益受到人们的关注。驾驶员疲劳驾驶是导致交通事故的重要原因之一。因此，开发一种能够实时监测驾驶员疲劳状态并提前发出预警的系统对于保障驾驶安全具有重要意义。近年来，深度学习技术特别是目标检测技术在计算机视觉领域取得了显著进展，为驾驶员疲劳检测提供了新的解决方案。本项目旨在利用YOLOv7算法，开发一个基于深度学习的驾驶员疲劳检测系统。二、项目目标。
深度学习之基于Matlab汽车目标检测
2301_79810943的博客
05-21 347
一、项目背景与意义随着自动驾驶和智能交通系统的快速发展，汽车目标检测成为了一个关键的技术环节。传统的汽车目标检测方法依赖于人工设计的特征和分类器，这些方法在复杂多变的环境中表现不佳。而基于深度学习的汽车目标检测方法能够自动学习和提取图像中的特征，具有更高的准确率和鲁棒性。因此，基于MATLAB的汽车目标检测项目旨在利用深度学习技术，实现对汽车目标的自动识别和定位，为自动驾驶和智能交通系统提供可靠的技术支持。二、技术架构与实现数据准备：收集包含汽车目标的图像数据，并进行数据标注。
基于python实现的深度学习的车牌识别系统
最新发布
liudefang的专栏
05-21 687
开发语言:Python。
梯度下降、反向传播、激活函数、参数初始化、批量归一化是深度学习中常用的几个概念
不正经的码狗
05-21 158
梯度下降、反向传播、激活函数、参数初始化、批量归一化是深度学习中常用的几个概念。下面我将对这些概念进行简要的凝练解释，并给出相应的例子。
深入理解深度学习中的激活层：Sigmoid和Softmax作为非终结层的应用
qlkaicx的博客
05-21 427
σx11e−xσx1e−x1​这使得它非常适合于二分类问题的输出层，比如预测一个事件发生与否。
深度学习之基于YoloV5行人及车辆多目标跟踪检测系统
2301_79809972的博客
05-21 267
   一、项目背景与目标随着城市交通的日益复杂，对行人和车辆的实时跟踪检测需求愈发迫切。本项目旨在利用深度学习技术，构建一个基于YoloV5的行人及车辆多目标跟踪检测系统，以提高交通监控的智能化水平，确保道路交通安全。二、技术选型与特点技术选型： YoloV5：作为目标检测的核心算法，YoloV5以其高效、准确的特点成为本项目的首选。它能够在保持高精度的同时，实现较快的检测速度，非常适用于实时性要求较高的场景。 深度学习框架：采用PyTorch等深度学习框架作为技术支撑，利用其强大的计算能力和灵活的编程接口
深度学习之基于YoloV5钢材微小缺陷检测系统
2301_79809972的博客
05-21 204
一、项目背景与目标在钢材生产过程中，由于各种因素，钢材表面可能会出现微小缺陷，如裂纹、气孔等。这些缺陷如果不及时发现和处理，将会严重影响钢材的质量和安全性。因此，开发一个能够准确、快速地检测钢材微小缺陷的系统显得尤为重要。本项目旨在利用深度学习技术，具体是YOLOv5算法，构建一个钢材微小缺陷检测系统，以提高钢材生产的质量控制水平。二、技术选型与特点YOLOv5算法：YOLOv5是一种实时目标检测算法，具有高效、准确的特点。
深度学习之基于Django+Tensorflow卷积神经网络车辆车型分类识别系统
2301_79809972的博客
05-21 167
一、项目背景与目标在智能交通和自动驾驶技术日益发展的背景下，车辆车型分类识别技术显得尤为重要。为了满足交通监控、车辆管理等方面的需求，我们开发了基于Django和Tensorflow卷积神经网络的车辆车型分类识别系统。本项目的目标是构建一个高效、准确的系统，能够自动识别并分类不同的车辆车型，以提升交通管理的效率和安全性。二、技术选型Tensorflow：作为深度学习框架，Tensorflow被广泛应用于构建和训练神经网络模型。其强大的生态系统和广泛的应用基础使得它成为本项目的首选框架。
Python - 深度学习系列34 重塑实体识别
yukai08008的博客
05-21 501
transformers 演变出了两个主要分支BERT(Encoder Only)和GPT(Decoder Only)，中间分支的概念相对淡一些。本次的目的在与梳理和重建实体识别模型，来取得更好的效果。
多步预测系列 | LSTM、CNN、Transformer、TCN、串行、并行模型集合
小蜗爱建模的博客
05-15 940
多步预测系列 | LSTM、CNN、Transformer、TCN、串行、并行模型集合

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值