TransFormer学习之基础知识：STN、SENet、CBAM、Self-Attention

最新推荐文章于 2025-02-08 02:22:11 发布
最新推荐文章于 2025-02-08 02:22:11 发布
阅读量2k 收藏 18
点赞数 10
分类专栏： 自动驾驶 文章标签： transformer 学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guanjing_dream/article/details/139146854
版权

1.空间注意力机制STN

参考链接：STN(Spatial Transformer Networks)
参考链接：通俗易懂的Spatial Transformer Networks(STN)

  • 核心动机： 在空间中捕获重要区域特征(如图像中的数字)，将核心区域进行放大居中，使得结果更容易识别
  • 主体结构： 局部网络、参数化网络采样（网络生成器）和差分图像采样
    [图片]

1.1 局部网络(Localisation net)

输入： U，U可以是输入图片也可以是Feature Map
输出： θ \theta θ，局部网络会将重要区域特征进行放大居中， θ \theta θ表示原图到变换后图像之间的变换和平移参数，参考上图(b)列

1.2 网络生成器(Grid generator)

输入：局部网络模块输出的变换关系 θ \theta θ
输出：经过仿射变换后的特征图，参考上图中©列

1.3 差分图像采样(Sample)

Sample 就是用来解决Grid generator模块变换出现小数位置的问题的，当对小数进行仿射变换时，由于取整操作会将变换前不同的位置映射到同一个坐标下。针对这种情况，STN采用双线性插值(Bilinear Interpolation) 进行解决，即根据(x,y)的像素值根据周围坐标的像素值来确定。计算公式如下：
[图片]
[图片]

2.通道注意力之SENet

[图片]

最低0.47元/天 解锁文章
从零搭建CBAM、SENet、STN、transformer、mobile_vit、simple_vit、vit模型（Pytorch代码示例）
算法工程师
12-16 1135
从零搭建CBAM、SENet、STN、transformer、mobile_vit、simple_vit、vit模型（Pytorch代码示例）
MATLAB算法实战应用案例精讲-【深度学习】多尺度特征提取（论文篇二）
qq_36130719的博客
04-17 675
对文本进行自动分类的过程。在该系统中，将待分类的文本输入到文本分类系统中，输出的是。涉及到的词嵌入和预训练语言模型、神经网络和深度学习、多尺度特征提取等技术。事实上，对于人脸对齐这种关联型任务，人脸各个部分，并不是在相同的。人工神经网络是模拟人类大脑的神经结构来进行设计的，用一种数学和计算模型。来模拟自然界生物的神经元活动，由大量相互连接的神经元来对信息进行计算和。传递，最终利用误差反向传播来对模型的参数进行调整，来拟合输入和输出的关。大多深度网络网络模型只使用最后一层的卷积特征，这样可能会造成信息的。
空间域注意力机制（Spatial Attention）
kuailezzf的博客
08-01 5058
空间域注意力机制（Spatial Attention）是深度学习中一种重要的注意力机制，用于在处理如图像或视频数据时聚焦于特定区域，以提高模型的性能和效率。举例来说，首先，卷积神经网络处理一张图像，经过特征提取后得到特征图。然后，空间域注意力机制就可以通过计算每个像素点的注意力权重，集中模型的注意力在图像中最重要的区域，例如目标的周围或者有信息丰富的区域。这种机制使得模型能够更有效地处理复杂的视觉任务，提高其性能和泛化能力。
SENet（Squeeze-and-Excitation Networks）
最新发布
李昭的博客
02-08 1061
传统CNN平等对待所有特征通道，但不同通道对最终任务的贡献不同。SENet通过自适应学习通道权重，增强关键特征通道的响应。模块参数量少（仅占原模型约1%），可无缝嵌入现有网络（如ResNet、Inception）。SE模块分为和。
注意力机制的两种模块SEblock 和 CBAM模块
qxqsunshine的博客
07-29 1万+
1.SENet模块 def SE_moudle(input_xs,reduction_ratio = 16.): shape = input_xs.get_shape().as_list() se_module = tf.reduce_mean(input_xs,[1,2]) #第一个Dense：shape[-1]/reduction_ratio：即把input_channel再除以reduction_ratio，使channel下降到指定维度数 se_module =.
SENET&CBAM
buziran的专栏
03-11 2801
https://mp.csdn.net/postedit SENET 一个feature map经过一系列卷积池化得到的feature map，每个通道的重要程度还是不一样的，也就是说每个通道其实还应该有一个重要性权值才行，然后每个通道的重要性权值乘以每个通道原来的值，就是我们求的真正feature map，这个feature map不同的通道重要性不一样（可能权值大的乘以原来的数要大些）...
注意力机制——Spatial Transformer Networks（STN）
weixin_50752408的博客
03-16 5510
整个 STN 模块可以插入到任意位置，用于提高网络的对图像变形、旋转等几何变换的鲁棒性。STN 的优点在于，它可以学习对输入数据进行任意复杂的空间变换，从而提高网络的对图像变形、旋转等几何变换的鲁棒性。例如，在图像分类任务中，可以将 STN 插入到卷积神经网络中，用于对输入图像进行空间变换，增强网络对图像变形、旋转等几何变换的鲁棒性。Spatial Transformer Networks（STN）是一种空间注意力模型，可以通过学习对输入数据进行空间变换，从而增强网络的对图像变形、旋转等几何变换的鲁棒性。
self attention和senet
jiangwei741的博客
12-06 153
https://zhuanlan.zhihu.com/p/53155423 https://zhuanlan.zhihu.com/p/32702350
SENET与 CBAM 注意力机制
weixin_45086338的博客
08-04 1470
原文链接：https://blog.csdn.net/xu380393916/article/details/109304082 一、SENET SENET是2017年的世界冠军，SE全称Squeeze-and-Excitation是一个模块，将现有的网络嵌入SE模块的话，那么该网络就是SENet，它几乎可以嵌入当前流行的任何网络，那么为什么会引出这个东西呢，来看下图： SE结构 一个SEblock的过程分为 Squeeze(压缩) 和 Excitation(激发) 两个步骤： Squeeze(压缩) 通
TransFormer学习之VIT算法解析
超爱吃小蛋糕的66的博客
05-23 1424
本文主要对VIT算法原理进行简单梳理，下图是一个大佬整理的网络整体的流程图，清晰明了，其实再了解自注意力机制和多头自注意力机制后，再看VIT就很简单了 受到NLP领域中Transformer成功应用的启发，ViT算法尝试将标准的Transformer结构直接应用于图像，并对整个图像分类流程进行最少的修改。具体来讲，ViT算法将整幅图像拆分成小图像块，将图像块转换为类似于NLP中的Sequence后再执行TransFormer操作。
机器学习笔记 计算机视觉中的注意机制综述论文简读
学以致用 知行合一
05-02 457
人类视觉系统可以自然高效地找到复杂场景中的重要的区域，受到这种现象的启发，注意力机制（Attention Mechanisms）被引入到计算机视觉系统中。注意力机制已经在计算机视觉的各种任务（如：图像识别、目标检测、语义分割、动作识别、图像生成、三维视觉等）中取得了巨大的成功。但是，研究人员在研究不同任务的注意力机制的时候，往往注重的是任务本身，而忽略了注意力机制本身就是一个研究方向，是一个尝试用计算机视觉系统模拟人类视觉系统的研究方向。
分组卷积、SEnet模块、CBAM模块
sinat_42247418的博客
02-25 4313
分组卷积、SEnet模块、CBAM模块
视觉注意力机制——SENet、CBAM、SKNet
frighting_ing的博客
11-19 1万+
注意力机制(Attentional Mechanism) 通常将软注意力机制中的模型结构分为三大注意力域来分析： 空间域 空间域——将图片中的的空间域信息做对应的空间变换，从而能将关键的信息提取出来。对空间进行掩码的生成，进行打分，代表是Spatial Attention Module。 通道域 通道域——类似于给每个通道上的信号都增加一个权重，来代表该通道与关键信息的相关度的话，这个权重越大，则表示相关度越高。对通道生成掩码mask，进行打分，代表是senet, Channel Attention Mo
注意力机制（SEnet、CBAM）附pytorch代码实现
m0_45267220的博客
06-04 3065
CNN中使用注意力机制是一个有效的提高网络性能的方法，它的核心重点就是让网络关注到它更需要关注的地方。我们使用注意力机制让网络可以自适应地关注某些区域，主要的实现就是加权值，我们的代码也是通过给通道或像素加权值实现注意力机制。
视觉Attention之SENet和CBAM概述
jackzhang11的博客
10-21 2837
Attention最早出现于NLP中，随着不断的发展，cv中对Attention的应用不断增加，早期两个比较经典的视觉Attention机制分别是SENet和CBAM，分别在17年和18年的大赛中夺魁，本文即对两种算法进行简单的介绍。 SENet 我们可以通过卷积得到feature map，SENet认为这个feature map中每个通道的重要程度是不一样的，应该给其分配权值，即代表每个通道各自的重要程度，具体的结构示意图如下： 在传统的Inception模型的基础上，增加上述module。假设输入是一
【即插即用】STN注意力机制（附源码）
weixin_45694817的博客
03-23 891
STN，也就是空间变换网络，是一种很酷的机器学习技术，它能自动地调整图像，让网络更好地处理图片的各种变化，比如扭曲或旋转。这个过程就像给图片做一个微整，让它们在变美的同时，也让计算机更容易识别。
注意力机制
caibo3913的博客
11-16 868
注意力机制直观上的理解就是人看一张图片，肯定是被图中某一部分吸引，而对应到NN，即是给整个图片的每个像素都赋予一个权重，希望得到注意力多的即权重大。 STN就是一个注意力机制，他是让图像把最需要的那一部分平移旋转缩放回来，相当于丢掉了不需要的部分。 而像SENet中的注意力机制，先把h*w*c2的特征直接在c2维度用平均池化把其变为1*1*c2，然后用多层感知机将其转化为每一层的权重即注意力，...
iTransformer时序模型改进——基于SENet和TCN的倒置Transformer，性能暴涨
小嘤熊的博客
08-25 1227
通过融合离散余弦变换（DCT）、通道注意力机制(SENet)与时间卷积网络（TCN），实现了对时间序列数据的高效多维特征提取。在此框架中，DCT专注于频域特征的捕捉，而通道注意力机制则进一步强化了对关键特征的识别与选择。最终，将这些经过优化的特征输入到iTransformer网络进行进一步处理，不仅能够显著提高预测的准确性，同时也提高了预测过程的效率。：经过DCT、通道注意力机制和TCN处理后的特征输入到iTransformer网络，进一步提高预测的准确性和效率。中的对比方法，MSE和MAE值越小越好。
STN(Spatial Transformer Networks)
热门推荐
06-04 1万+
上一篇介绍了通道注意力机制SENET，有兴趣的同学可以去看一下SENET.
Transformer深度解析：从Self-Attention到多头注意力机制
Transformer模型是深度学习领域的一个重要突破，尤其是在自然语言处理（NLP）任务中，它由Google的研究人员在2017年的论文《Attention is All You Need》中提出。Transformer的核心创新在于使用Self-Attention机制...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值