Early Convolutions Help Transformers See Better

最新推荐文章于 2024-06-18 17:00:07 发布
最新推荐文章于 2024-06-18 17:00:07 发布
阅读量805 收藏
点赞数
分类专栏： # VIT theory 文章标签： 深度学习 计算机视觉 cnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eternal_city/article/details/124540755
版权

Early Convolutions Help Transformers See Better

Abstract

VIT优化较为困难，对参数选择比较敏感。

网络

传统多层3*3conv，每层后加BN、ReLU，到encoder前时控制与原ViT输入相同

虽然ViT论文中也有这种结构，但论文中说明这种结构的分数是要略微逊色的，但这篇论文证明了这种结构可以更容易优化。

实验结果

  • 用CNN代替patch结构会使：
  1. 收敛更快
  2. 不再局限于SGD（SGC和AdamW的差距较小）
  3. 对超参数不那么敏感
  • weight decay是不能给BN和bias加的
飞花穿庭
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
论文笔记——early convolutions help transformers see better
unamable的博客
12-21 275
一、motivation 二、solution
论文阅读---VITC----Early Convolutions Help Transformers See Better
2202_75787160的博客
03-26 545
论文阅读---VITC----Early Convolutions Help Transformers See Better
FAIR新作：卷积可以让视觉Transformer性能更强！训练更稳定！
阿木寺的博客
06-30 2461
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：Smarter之前的一些研究发现，ViT的优化要求十分苛刻，不仅需要精确的learning rate和weigh...
UC 伯克利华人一作：卷积让视觉 Transformer 性能更强，ImageNet 继续刷点！
深度学习技术前沿
07-21 446
转自 | 新智元来源 | arXiv编辑 | LQ PriscillaConvolutional stem is all you need! Facebook AI和UC伯克利联手，探究...
A Closer Look at Spatiotemporal Convolutions for Action Recognition
04-21
Spatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal ...ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal Convolutions
Classification using both Inter- & Intra- Channel Parallel Convolutions.pdf
03-19
Convolutional Neural Networks for Multivariate Time Series Classification using both Inter- & Intra- Channel Parallel Convolutions G. Devineau
Going deeper with convolutions.xmind
11-19
Going deeper with convolutions.xmind
convolutions.py
04-17
pyimagesearch中Convolutions with OpenCV and Python 对应代码
Going deeper with convolutions.pdf
02-03
GoogLeNet Inception V1了论文 《 Going deeper with convolutions 》
谷歌：CNN击败Transformer，有望成为预训练界新霸主！LeCun却沉默了...
夕小瑶科技说
05-11 560
文 | ????????????????这几年，大家都说深度学习进入了预训练时代。作为一个入行不久的小白，我一直以为各类基于 Transformers 结构的预训练模型是 NLP 的巨大里...
CNN+Transformer算法总结（持续更新）
热门推荐
qq_45752541的博客
08-19 4万+
CNN与Transformer融合的视觉框架介绍
CNN之EdgeFormer-向视觉Transformer学习，构建一个比 MobileViT 更好更快的卷积网络
画心
05-05 1256
EdgeFormer: 向视觉 Transformer 学习，构建一个比 MobileViT 更好更快的卷积网络 本文原始文档：https://www.yuque.com/lart/papers/eu498f 论文：https://arxiv.org/abs/2203.03952 代码：https://github.com/hkzhang91/EdgeFormer 核心内容 本文主要探究了轻量模型的设计。通过使用 Vision Transformer 的优势来改进卷积网络，从而获得更好的性能。 本文提
CNN和Transformer相结合的模型
cvanlijingxuan的博客
12-24 1万+
尽管CNN存在很多优势，但是其感受野通常很小，不利于捕获全局特征。 视觉Transformer由于能够捕获一张图片的全局信息，因此在许多视觉任务中超越许多CNN结构。
动手学深度学习（Pytorch版）代码实践 -深度学习基础-08多层感知机简洁版
李思成的博客
06-18 282
【代码】动手学深度学习（Pytorch版）代码实践 -深度学习基础-08多层感知机简洁版。
动手学深度学习（Pytorch版）代码实践 -深度学习基础-09过拟合与欠拟合
李思成的博客
06-18 373
【代码】动手学深度学习（Pytorch版）代码实践 -深度学习基础-09过拟合与欠拟合。
动手学深度学习（Pytorch版）代码实践 -深度学习基础-12Kaggle竞赛：预测房价
最新发布
李思成的博客
06-18 424
【代码】动手学深度学习（Pytorch版）代码实践 -深度学习基础-12Kaggle竞赛：预测房价。
深度学习之---迁移学习
lbr15660656263的博客
06-15 1056
迁移学习(Transfer Learning)是一种机器学习方法，就是把为任务 A 开发 的模型作为初始点，重新使用在为任务 B 开发模型的过程中。迁移学习是通过 从已学习的相关任务中转移知识来改进学习的新任务，虽然大多数机器学习算 法都是为了解决单个任务而设计的，但是促进迁移学习的算法的开发是机器学 习社区持续关注的话题。迁移学习对人类来说很常见，例如，我们可能会发现 学习识别苹果可能有助于识别梨，或者学习弹奏电子琴可能有助于学习钢琴。
cvt: introducing convolutions to vision transformers
03-16
cvt是一种将卷积引入视觉变换器的方法。传统的视觉变换器使用自注意力机制来捕捉图像中的空间关系，但是这种方法在处理大尺寸图像时会变得非常缓慢。cvt通过引入卷积操作来加速这个过程，同时保持了自注意力机制的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值