transformer比CNN好在哪里

最新推荐文章于 2024-07-10 20:03:11 发布
最新推荐文章于 2024-07-10 20:03:11 发布
阅读量1k 收藏 1
点赞数 1
文章标签： transformer cnn 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39326879/article/details/131638952
版权

transformer对于大数据的适配能力比CNN要强很多，原因在于：
1.Dynamic比static好：transformer的参数是随着输入变化的，不像CNN是fixed住的；动态参数提取特征的能力会更强，所以很多CNN也在朝Dynamic的方向发展，比如Dynamic cov,Dynamic relu；
2.attention机制更关注不同feature之间的相对关系，对于绝对的value值并不敏感（对于形变和噪声不敏感），所以相对于CNN具有更好的普适性；而CNN更关注对于局部的描述（类似于传统算法中的特征点提取）；
3.transformer单层就可以融合全部的信息做决策，而CNN是通过多层不断下采样获取更大感受野来融合更广范围的信息；（在此过程中也会损失掉分辨率）；

Jumi爱笑笑
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Transformer秒杀CNN，凭什么？
zenRRan的博客
10-14 925
Transformer 有多厉害？它只用了短短5年，便在 TensorFlow 、PyTorch 等主流深度学习框架支持的 AI 程序中占据一席之地。有人将 Transfromer 称为是NLP领域一个里程碑式的模型。但近些年，计算机视觉领域也创新性地将其引入，并获得了大量好评。Transformer+视觉跟踪主要还是得益于其：学习长距离依赖能力强CNN 的计算机制会带来模型臃肿、计算量增大、梯度...
应用Transformer和CNN进行计算机视觉任务各自的优缺点
m0_57317650的博客
12-18 3515
Transformer 和 CNN（卷积神经网络）是用于计算机视觉任务的两种不同的深度学习架构，各自具有一些优点和局限性。
与卷积神经网络(CNN)对比，Transformer的优势是什么
weixin_47151388的博客
03-30 1万+
与卷积神经网络(CNN)对比，Transformer的优势
Transformer在CV领域相比CNN的优点
qq_69469062的博客
11-16 1316
而在VIT这篇文章中通过将图片划分成很多个patch后通过一个token来与其他patch进行交互，从而在第一层就能得到全局的信息。cnn在提取目标特征的时候需要通过卷积核来一步一步提取，但是每一层的感受野都非常小，要想得到全局的特征，必须堆叠很多层才行。Transformer的缺点。
一文梳理视觉Transformer：与CNN相比，ViT赢在哪儿？
机器学习算法与Python学习
03-24 2347
点击 机器学习算法与Python学习 ，选择加星标精彩内容不迷路机器之心报道Transformer 近年来已成为视觉领域的新晋霸主，这个来自 NLP 领域的模型架构在 CV 领域有哪些具体应用？。Transformer 作为一种基于注意力的编码器 - 解码器架构，不仅彻底改变了自然语言处理（NLP）领域，还在计算机视觉（CV）领域做出了一些开创性的工作。与卷积神经网络（C...
Transformer为何能闯入CV界秒杀CNN？
阿木寺的博客
02-21 1275
点击上方“CVer”，选择加"星标"置顶重磅干货，第一时间送达本文转载自：AI科技评论编译 | Don、青暮CV（计算机视觉）领域一直是引领机器学习的弄潮儿。近年来更是因为...
transformer中的注意力相比于CNN中的注意力，效果好在哪里？
cjY135768的博客
08-07 1501
Q1:为啥transformer分割效果会比较好？ A1:因为它是基于自注意力，（自学习来分配权重，是软注意力的一种升级（都是0~1之间的权重），软注意力是人为分配的，还有一种硬注意力，是0或1，分配或者不分配权重；而软注意力和自注意力都是多少会分配权重，只是有多有少的问题），解决长文本间的***依赖***（相互注意力权重的影响） Q2:但是CNN中也有注意力（或自注意力），它与trnsformer中的注意力机制有啥本质的区别？ A2:首先明确注意力机制本身就起源于NLP，所以无论是注意力还是自注意力，都有
本科毕业设计，基于Transformer的运动想象脑电信号分类，采用CNN+Transformer框架，CNN提取局部时间空间特
11-08
本科毕业设计，基于Transformer的运动想象脑电信号分类，采用CNN+Transformer框架，CNN提取局部时间空间特征，Transformer提取全局依赖 创新点加入了Grad-CAM对脑电地形图进行可视化 <项目介绍> 该资源内项目源码是...
视觉领域的CNN与Transformer综述
03-19
1 卷积神经网络（CNN）介绍 1.1 CNN基本结构介绍 1.2 经典的CNN模型 2 Transformer介绍 2.1 基本结构介绍 2.2 视觉Transformer模型（VIT，...3 CNN与Transformer的比较 3.1 结构差异 3.2 性能差异 3.3 优劣对比 4 总结
基于Transformer和CNN卷积神经网络的网络入侵检测python源码+数据集+详细注释.zip
05-31
基于Transformer和CNN卷积神经网络的网络入侵检测python源码+数据集+详细注释.zip基于Transformer和CNN卷积神经网络的网络入侵检测python源码+数据集+详细注释.zip基于Transformer和CNN卷积神经网络的网络入侵检测...
python实现基于Transformer和CNN卷积神经网络的网络入侵检测项目源码+文档说明.zip
04-07
python实现基于Transformer和CNN卷积神经网络的网络入侵检测项目源码+文档说明.zip本资源中的源码都是经过本地编译过可运行的，资源项目的难度比较适中，内容都是经过助教老师审定过的能够满足学习、使用需求，如果...
基于Transformer和CNN卷积神经网络的网络入侵检测python源码（高分项目）.zip
05-08
基于Transformer和CNN卷积神经网络的网络入侵检测python源码（高分项目）.zip研究目标是设计并实现一个高效且准确的网络入侵检测系统，该系统基于深度学习中的Transformer和CNN技术。通过本课题的研究，希望为网络...
与卷积神经网络(CNN)对比，视觉Transformer的特点
热门推荐
weixin_42656681的博客
09-20 1万+
与CNN对比，视觉Transformer的特点
Transformer 眼中世界 Vs. CNN 眼中世界
机器学习社区
10-17 507
消失人口回归系列，嗯，这段时间也一直在从事反卷事业。最近帮朋友看毕业 Report，主要对比视觉识别比较前沿的两个模型，ViT（Vision Transformer） 和 EfficientNet. 需要可视化解释一下这两模型对同一任务的不同之处。EfficientNet 主要组件是 CNN 还好，CNN 在可视化各位大佬都做了，但 ViT 的 Transformer 在图像方面，说实话都不知道可视化哪部分，开头 patch 的转换部分或者 attention map 还行。刚好看到这篇论文 Do Visi
为何Transformer在计算机视觉中如此受欢迎？
从未完美过的博客
02-15 485
在过去的大半年中，学术界视觉 Transformer 还涌现了大量变种，包括 DeiT [9]，LocalViT [10]，Twins [11]，PvT [12]，T2T-ViT [13], ViL [14]，CvT [15]，CSwin [16]，Focal Transformer [17]，Shuffle Transformer [18] 等。但是，在人工智能的不同子领域中，基本建模的方式各种各样，并不统一，例如：在自然语言处理（NLP）领域目前的主导建模网络是 Transformer；
Transformer论文解读四（SegFormer）
蓝鲸鱼的博客
11-01 5761
最近Transformer在CV领域很火，Transformer是2017年Google发表的Attention Is All You Need中主要是针对自然语言处理领域提出的，后被拓展到各个领域。本系列文章介绍Transformer及其在各种领域引申出的应用。 本文介绍的SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers将Transformer应用于语义分割。 SegFormer是一个将tr
CNN和Transformer优缺点
qq_40828213的博客
02-17 4509
CNN和Transformer
神经网络学习笔记5——Swin-Transformer网络
qq_45848817的博客
10-21 9302
Swim Transformer是特为视觉领域设计的一种分层Transformer结构。Swin 的两大特性是滑动窗口和分层表示。滑动窗口在局部不重叠的窗口中计算自注意力，并允许跨窗口连接。分层结构允许模型适配不同尺度的图片，并且计算复杂度与图像大小呈线性关系，也因此被人成为披着transformer皮的CNN。
GCN-LSTM实现时空预测
最新发布
weixin_44992737的博客
07-10 176
GCN-LSTM实现交通流量预测,时空预测,
transformer比cnn
04-25
Transformer和CNN都是深度学习中常用的模型，但在某些任务上，Transformer相比CNN具有一些优势。 Transformer是一种基于自注意力机制模型，主要用于处理序列数据，如自然语言处理任务。相比之下，CNN主要用于处理图像和局部相关性较强的数据。 以下是Transformer相比CNN的一些优势： 1. 长程依赖建模：Transformer通过自注意力机制可以捕捉序列中的长程依赖关系，而CNN在处理长序列时可能会出现信息丢失或模糊的问题。 2. 并行计算：Transformer中的自注意力机制可以并行计算，加快了模型的训练速度。而CNN在处理序列数据时需要逐步滑动卷积核，计算效率较低。 3. 位置编码：Transformer引入了位置编码来表示序列中元素的位置信息，可以更好地处理序列中元素的顺序关系。而CNN在处理序列时通常需要额外的位置信息输入。 4. 可解释性：由于Transformer中的自注意力机制可以对输入序列中的不同位置进行加权，因此可以更好地理解模型对输入的关注程度。而CNN在处理序列时通常只能得到整体特征表示。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值