CoAtNet: Marrying Convolution and Attention for All Data Sizes

最新推荐文章于 2024-03-24 19:16:00 发布
最新推荐文章于 2024-03-24 19:16:00 发布
阅读量2.2k 收藏 4
点赞数 1
分类专栏： Transformer backbone 计算机视觉论文速递 文章标签： 人工智能 深度学习 机器学习 计算机视觉 Transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/amusi1994/article/details/117827194
版权
谷歌研究者提出了CoAtNet，一种结合卷积和Transformer的新型网络，它在多种数据规模下表现优越。CoAtNet通过深度卷积和自注意力的融合，以及有原则的层堆叠，提高了泛化能力、模型容量和效率。实验显示，CoAtNet在ImageNet上未经额外数据预训练就能达到86.0%的准确率，而在使用JFT数据预训练后，准确率提升至89.77%，超越现有技术。
摘要由CSDN通过智能技术生成

本文系统调研了CNN和Transformer的特性，并将两者结合提出新的家族式网络：CoAtNet，无额外数据时高达86%准确率，在JFT加持下，高达89.77%！性能优于CvT、BotNet和Swin等网络。

谷歌两天祭出两大Backbone，昨天的ViT-G，今天的CoAtNet…

注：别老收藏呀，欢迎点赞，支持分享！

想看更多CVPR 2021论文和开源项目可以点击：

CVPR2021-Papers-with-Code
​

CoAtNet

CoAtNet: Marrying Convolution and Attention for All Data Sizes
在这里插入图片描述

  • 作者单位：谷歌大脑（Quoc V. Le等人）
  • 论文：https://arxiv.org/abs/2106.04803

Transformers 在计算机视觉方面吸引了越来越多的兴趣，但它们仍然落后于最先进的卷积网络。在这项工作中，我们表明虽然 Transformer 往往具有更大的模型容量，但由于缺乏正确的归纳偏差，它们的泛化可能比卷积网络更差。

为了有效地结合两种架构的优势，我们提出了 CoAtNets（发音为“coat”nets）

最低0.47元/天 解锁文章
Amusi（CVer）
关注
专栏目录
89.77%准确率！谷歌大脑提出CoAtNet：结合卷积和注意力
阿木寺的博客
06-11 2114
本文系统调研了CNN和Transformer的特性，并将两者结合提出新的家族式网络：CoAtNet，无额外数据时高达86%准确率，在JFT加持下，高达89.77%！性能优于CvT、BotNet和Swin等网络。 谷歌两天祭出两大Backbone，昨天的ViT-G，今天的CoAtNet… 注：别老收藏呀，欢迎点赞，支持分享！ 想看更多CVPR 2021论文和开源项目可以点击： CVPR2021-Papers-with-Code ​ CoAtNet CoAtNet: Marrying Convolution a
CoAtNet：Marrying Convolution and Attentionfor All Data Sizes文章详解（结合代码）
Orange_sparkle的博客
11-11 1750
混合深度卷积和自注意力论文中提到了的 ViT 的主要限制之一是其令人印象深刻的数据需求。虽然 ViT 在庞大的 JFT300M 数据集上显示出令人兴奋的结果，但它在数据量少的情况下性能仍然不如的经典 CNN。这表明 Transformers 可能缺少 CNN 拥有的泛化能力，因此需要大量数据来弥补。但是与 CNN 相比，注意力模型具有更高的模型容量。
[Transformer]CoAtNet:Marrying Convolution and Attention for All Data Sizes
qq_37151108的博客
12-10 2408
CoAtNet:卷积+注意力用于任意规模的分类任务AbstractSection I IntroductionSection II ModelPart 1 Merging Convolution and Self-AttentionPart 2 Vertical Layput DesignSection III Related WorkSection IV ExperimentsPart 1 Main ResultsPart 2 Ablation StudiesSection V Conclusion fr
CoAtNet Marrying Convolution and Attention for All Data Sizes 论文学习
calvinpaean的博客
06-28 1690
Abstract Transformers 在计算机视觉任务上得到了越来越多的关注，但仍落后于 SOTA 卷积网络。本文作者证明，尽管 Transformers 具有更强的模型能力，但因为缺乏归纳偏置特性，它的泛化性要落后于 CNN。为了有效地结合二者的长处，作者提出了 CoAtNets，它的构建主要基于两个关键想法：（1）我们可以通过简单的相对注意力将深度卷积和自注意力自然统一；（2）在提升泛化性、能力和效率方面，按照一定的原则，垂直摆放卷积层和注意力层会非常有效。实验证明，CoAtNets 在多个数据集
【读点论文】CoAtNet: Marrying Convolution and Attention for All Data Sizes串行卷积特征和Transformer特征的融合探讨，适应数据量
白水空空
03-18 1019
transformer吸引了人们对计算机视觉越来越多的兴趣，但它们仍然落后于最先进的卷积网络。在这项工作中，我们表明，虽然transformer往往具有更大的模型容量，但由于缺乏正确的归纳偏差，它们的泛化可能比卷积网络更差。为了有效地结合这两种架构的优势，我们提出了CoAtNets(念作“coat”nets)，这是一个混合模型家族，基于两个关键观点构建:(1)深度卷积和自我注意力可以通过简单的相对注意力自然统一;(2)卷积层和注意层按原则垂直叠加，在提高泛化能力、容量和效率方面具有惊人的效果。
MixMAE(MixMIM):用于分层视觉变压器有效预训练的混合和掩码自编码器 论文阅读
最新发布
weixin_51657614的博客
03-24 888
以自我监督的方式利用未标记的视觉数据来学习表征是有趣但具有挑战性的。继BERT[14]在自然语言处理中，预训练MIM在学习各种下游视觉任务的视觉表示方面取得了巨大成功[4,21,44,50,51]，包括图像分类[13]、目标检测[31]、语义分割[56]、视频分类[20]和运动控制[50]。
CNN和Transformer相结合的模型
cvanlijingxuan的博客
12-24 1万+
尽管CNN存在很多优势，但是其感受野通常很小，不利于捕获全局特征。 视觉Transformer由于能够捕获一张图片的全局信息，因此在许多视觉任务中超越许多CNN结构。
视频理解论文精读系列目录【更新中】
weixin_47341656的博客
04-12 2159
视频理解论文精读系列目录 0、Introduction 1、ConvNet+LSTM 2、3D ConvNets 3、Two-Stream Convolutional Networks 3.1 泛读 3.2 精读 3.3 总结 3.4 验证 4、Two-Stream Inflated 3D ConvNets 5、Temporal Segment Networks 6、SlowFast Networks 7、Temporal Shift Mod...
89.77%准确率！谷歌提出CoAtNet：将卷积与自注意力结合
阿木寺的博客
06-12 1325
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：AIWalker标题&作者团队CoAtNet: Marrying Convolution and Att...
Coatnet中的Rel-Attention
qq_42556102的博客
05-11 938
Coatnet中的Rel-Attention 输入：img.shape= [batch_size，(H*W)，C] multi-attention 生成qkv的过程如下： 原本的transformer中qk会除以middle_dim的1/2次方，再进行softmax。先不着急，Coatnet中qk还得加上一个relative矩阵再进行其他操作。 relative_attention 在原论文中是产生一个自定义矩阵，大小为[2*H-1,2*W-1]的矩阵，但是需要的应该是一个【H*W,H*W】的矩阵，因为原
CoAtNet实战：使用CoAtNet对植物幼苗进行分类(pytorch)
AI浩
12-15 2855
虽然Transformer在CV任务上有非常强的学习建模能力，但是由于缺少了像CNN那样的归纳偏置，所以相比于CNN，Transformer的泛化能力就比较差。因此，如果只有Transformer进行全局信息的建模，在没有预训练（JFT-300M）的情况下，Transformer在性能上很难超过CNN（VOLO在没有预训练的情况下，一定程度上也是因为VOLO的Outlook Attention对特征信息进行了局部感知，相当于引入了归纳偏置）。既然CNN有更强的泛化能力，Transformer具有更强的学习能
CoAtNet：结合卷积与注意力机制应用在所有大小数据
互相学习的小博客
10-26 2753
CoAtNet：结合卷积与注意力机制应用在所有大小数据
计算机视觉的应用21-基于含有注意力机制的CoAtNet模型的图像分类任务实现，利用pytorch搭建模型
weixin_42878111的博客
12-02 1541
大家好，我是微学AI，今天我给大家介绍一下计算机视觉的应用21-基于注意力机制CoAtNet模型的图像分类任务实现，加载数据进行模型训练。本文我们将详细介绍CoAtNet模型的原理，并通过一个基于PyTorch框架的实例，展示如何加载数据，训练含有注意力机制的CoAtNet模型，从操作上理解该模型。
面向小白的深度学习代码库，一行代码实现30+中attention机制。
努力努力再努力的小马
07-26 5377
Hello，大家好，我是小马🚀🚀🚀，最近创建了一个深度学习代码库，欢迎大家来玩呀！代码库地址是https://github.com/xmu-xiaoma666/External-Attention-pytorch，目前实现了将近40个深度学习的常见算法！For 小白（Like Me）：最近在读论文的时候会发现一个问题，有时候论文核心思想非常简单，核心代码可能也就十几行。但是打开作者release的源码时，却发现提出的模块嵌入到分类、检测、分割等任务框架中，导致代码比较冗余，对于特定任务框架不熟悉的我，很难找
深度学习框架-Backbone汇总
热门推荐
David's Tweet
01-17 4万+
Backbone—— Neck —— Head 1.Backbone：翻译为骨干网络的意思，既然说是主干网络，就代表其是网络的一部分，那么是哪部分呢？这个主干网络大多时候指的是提取特征的网络，其作用就是提取图片中的信息，共后面的网络使用。这些网络经常使用的是resnet VGG等，而不是我们自己设计的网络，因为这些网络已经证明了在分类等问题上的特征提取能力是很强的。在用这些网络作为backbone的时候，都是直接加载官方已经训练好的模型参数，后面接着我们自己的网络。让网络的这两个部分同时进...
ConvMAE：当Masked卷积遇见何恺明的MAE
阿木寺的博客
05-18 2272
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者丨科技猛兽转载自丨极市平台导读多尺度的金字塔式架构 + 局部的归纳偏置的模型，能不能经过 MAE 的训练方式之后，进一步挖掘和提升 MAE 的性能？本文就是探索这个问题。ConvMAE 简而言之就是：多尺度的金字塔式架构 + 局部的归纳偏置的模型，使用 MAE 的 Self-supervised L...
计算机视觉论文-2021-06-10
中科院AI算法工程师的博客
06-10 1449
本专栏是计算机视觉方向论文收集积累，时间：2021年6月10日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:A Machine Learning Pipeline for Aiding School Identification from Child Trafficking Images AUTHORS: SUMIT MUKHERJEE ...
NLP和CV中的Local和Global建模
mingo_敏
07-13 334
CNN的感受野受卷积核大小的限制，导致了CNN实际上是一种Local的信息建模；而Self-Attention（SA）是将每个位置和所有位置计算attention weight，考虑了每个点之间的联系，因此SA是一种Global的建模。 起初，CNN大多用在CV领域中，而SA大多用在NLP领域中。但是随着SA和CNN各自优缺点的显现（如下表所示），越来越多的文章对这两个结构进行了混合的应用，使得模型不仅能够捕获全局的信息，还能建模局部信息来建模更加细粒度的信息。 1）Conv的卷积核是静态的，是与输入的特
思考NLP和CV中的Local和Global建模
努力努力再努力的小马
07-09 437
该原创内容首发于GaintPandaCV，转载请获得授权并标明出处 【写在前面】 CNN的感受野受卷积核大小的限制，导致了CNN实际上是一种Local的信息建模；而Self-Attention（SA）是将每个位置和所有位置计算attention weight，考虑了每个点之间的联系，因此SA是一种Global的建模。 起初，CNN大多用在CV领域中，而SA大多用在NLP领域中。但是随着SA和CNN各自优缺点的显现（如下表所示），越来越多的文章对这两个结构进行了混合的应用，使得模型不仅能够捕获全局的信息，还能
Google顶级网络CoAtNet(CNN+TFM 89.77% ImageNet top1精度)+代码+基于CIFAR10的实验流程
Ye_meng_li的博客
12-20 3045
最顶尖的CNN+TFM这里用的CoAtNet(有介绍），他在ImageNet数据集上达到了89.77%的精度，超越所有ResNet变种，成为当时的SOTA，这里的内容是基于CIFAR10的分类任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值