学习笔记--目标分类10 SENet

最新推荐文章于 2024-07-01 00:49:28 发布
最新推荐文章于 2024-07-01 00:49:28 发布
阅读量807 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42630613/article/details/107841297
版权

文章目录

1、归纳

本研究提出了压缩（sequeeze）和激励（Excitation）构成的通道维度的attention模块，即插即用并非完整的网络模型。略微增加计算成本。并将其使用在不同的经典网络及轻量化网络上，得到精度验证。

2、论文

相关研究

一、注意力机制、
1数学角度、是一种权重模式进行运算
2卷积角度，利用一些网络层计算得到特征图对应的权重值
3一种即插即用
4本质：设计一些卷积层输出权重值
具体操作为：在原有的模块中再加入一个分支，计算权重，得到的权重再与原来的进行相乘，就得到了具有注意力机制的特征图
二、STNet、
STNet通过spatial transformer将形变的，位置偏离的图像变换到图像中间，使得网络对空间变换更鲁棒
在这里插入图片描述在这里插入图片描述

三、attention resnet、
一般注意力都需要额外加分支，此处的注意力只要在一个前向过程中提取模型的attention就可以了
在这里插入图片描述
T(x)*（M(x)+1）即T(x)*M(x)+T(x)残差思想
四、CBAM
在这里插入图片描述

ILSVRC

2017结束，错误率达到2.25
在这里插入图片描述

SE block

1squeeze：global information embedding
采用全局池化，即压缩H和W到1*1，利用1个像素来表示通道，实现低维嵌入
2excitation：Adaptive Recalibration
采用两个全连接层：中间的神经元个数为C/r，两边的神经元个数为C，第一个FC用relu，第二个FC用sigmoid。r实验后16比较好
3scale：将得到的权重向量与通道的乘法
在这里插入图片描述

不同的block

SE block只重构特征图，不改变原来的结构
在这里插入图片描述

在这里插入图片描述

SE Block的使用及带来的参数量

每个residual block后嵌入SE block
在这里插入图片描述
在这里插入图片描述

注意

1论文中block有的地方也称module
2消融实验ablation study

推荐论文

1可视化卷积结果，帮助理解卷积
2CAM、Grad-CAM、Grad-CAM++

spark-aixin
关注
SENet双塔模型：在推荐领域召回粗排的应用及其它
wenyusuran的专栏
06-08 1686
前言 目前，双塔结构在推荐领域里已经是个常规方法了，在召回和粗排环节的模型选型中，被广泛采用。其实，不仅仅是在推荐领域，在其它领域，双塔结构也已经被越来越多得用起来了。比如，在当代搜索引擎的召回环节，除了常见的经典倒排索引来对Query和Document进行文本字面匹配外，经常也会增加一路基于Bert模型的双塔结构，将用户查询Query和搜索文档，各自通过一个塔形结构来打Embedding，以此增加Query和Document的深层语义匹配能力；再比如，在自然语言处理的QA领域，一般也会在第一步召回环节，
_嵌入SENet结构的改进YOLOV3目标识别算法.pdf
09-09
_嵌入SENet结构的改进YOLOV3目标识别算法，论文，非常好的学习YOLO的论文。
SEnet实战 -- 垃圾分类
weixin_43575791的博客
04-26 1320
有一个文件夹data，下面一个train文件夹，再下面有6个子文件夹，文件夹名称分别是每种垃圾图片的类别，每个类别下面有该类垃圾的图片。数据预处理过程比较简单，只进行了大小的调整，全部缩放到224x224。采用SEnet网络训练进行分类，加注意力机制后准确率会稍高一些。（还可以增加的常规的数据增强操作，如翻转、裁剪等）SEnet：resnet18+通道域注意力。SE层结构如下，暂时不讲注意力机制。训练文件train.py代码如下。训练集占70%，测试集占30%
目标检测
Black eyes的博客
03-25 814
文章目录目标检测技术的演变：目标检测评估方法：rcnnSelective SearchSPP Net 目标检测技术的演变： RCNN->SppNET->Fast-RCNN->Faster-RCNN 目标检测评估方法： 检测评价函数 intersection-over-union ( IOU ) IOU就是模型预测的bounding box与标记bounding box的重合率 r...
基于卷积的图像分类识别（七）：SENet
极光喵的博客
05-15 1442
SENet，由胡杰于2017.9提出，其通过显式地建模卷积特征通道之间的相互依赖性来提高网络的表示能力。即，通道维度上的注意力机制。SE模块仅需微小的计算成本，却产生了显著的性能改进。在ILSVRC2017比赛中，SENet block与ResNeXt结合获得了第一名。
人工智能的目标分类
考研小钻风
07-01 1543
🍈背景在当今科技迅速发展的时代，人工智能已经成为引领创新和变革的重要力量。对人工智能目标进行准确分类，有助于我们更系统地理解其发展方向和潜在影响。🍈分类的重要性目标分类是对不同类型目标进行系统划分和归类的重要过程。通过目标分类，我们能够更加清晰地理解和组织各种目标，从而更有效地规划和管理我们的行动。目标可以基于多种标准进行分类。从时间维度来看，有短期目标、中期目标和长期目标。短期目标通常是在近期内可实现的具体任务，中期目标则需要在一定时间段内努力达成，而长期目标往往是更宏观、更长远的追求。
（SENet）Squeeze-and-Excitation Networks论文阅读笔记
weixin_43422466的博客
08-28 1030
文章目录（SENet）Squeeze-and-Excitation Networks论文阅读笔记2018Abstract1. Introduction2. Related Work3. Squeeze-and-Excitation Blocks3.1 Squeeze: Global Information Embedding3.2 Excitation: Adaptive Recalibration3.3 Instantiations4. Model and Computational Complexity
SENet实战详解：使用SE-ReSNet50实现对植物幼苗的分类
2401_84010107的博客
04-21 912
介绍完具体的公式实现，下面介绍下SE block怎么运用到具体的网络之中。上图是将 SE 模块嵌入到 Inception 结构的一个示例。方框旁边的维度信息代表该层的输出。这里我们使用 global average pooling 作为 Squeeze 操作。紧接着两个 Fully Connected 层组成一个 Bottleneck 结构去建模通道间的相关性，并输出和输入特征同样数目的权重。我们首先将特征维度降低到输入的 1/16，然后经过 ReLu 激活后再通过一个 Fully Connected 层升
【深度学习】分类神经网络发展 从LeNet到SeNet
guozhirourou的博客
07-25 1940
最近学习了分类网络的发展，做了简单的整理，仅供自己学习笔记 LeNet： 由Yann LeCun等人在1998年提出，是cnn的基本架构，不包括输入共有7层，由卷积层、池化层、全链接层构成。 1、输入层： 输入为单通道，32*32大小的图像 2、c1层-卷积层： 输入大小为[1,32,32]， 卷积核大小为5*5， 卷积核数目为6， 滑动步长为1， 输出图像尺寸为（3...
论文笔记-Action Recognition-＜TEA: Temporal Excitation and Aggregation for Action Recognition＞
m0_47450061的博客
09-01 810
论文笔记：TEA: Temporal Excitation and Aggregation for Action Recognition Author：Yan Li [1], Bin Ji [2], Xintian Shi [1], Jianguo Zhang [3], Bin Kang [1], Limin Wang [2]; [1] Platform and Content Group (PCG), Tencent, [2] State Key Laboratory for Novel Software
【注意力机制】SENet：Squeeze-and-Excitation Networks 阅读笔记、通道注意力机制的理解
weixin_43514766的博客
04-10 2655
ILSVRC 2017 图像分类比赛冠军 Abstract 卷积神经网络建立在卷积运算的基础上，它通过在局部感受野内将空间和通道方面的信息融合在一起，来提取信息特征。为了提高网络的表达能力，最近的一些方法已经显示出空间编码的优越性。 在这项工作中，作者专注于通道关系，并提出了一个新的架构单元，称之为 “SE block”，通过模拟通道之间的相互依赖关系，自适应地重新校准通道方面的特征响应。通过将这些SE模块堆叠在一起，可以构建SENet架构，本结构在具有挑战性的数据集上有较好的泛化能力。 以SENet.
人工智能与深度学习概念（3）——目标分类-CNN
qq_28810395的博客
07-17 6625
生物视觉原理 生物层面的视觉图像处理流程： 1、像素信号瞳孔摄入，视网膜感光细胞传导刺激反应 2、大脑皮层细胞处理，感知差异构成的边缘和方向 3、神经细胞处理，提炼形状颜色等特征 4、大脑进一步抽象，获得认知 5、与记忆进行匹配，得到判断 机器模拟生物识别，其处理流程为： 1、接受图像数据 2、获取图像特征 3、根据特征获得类别信息 4、输出目标类别 图像通道   模拟眼镜视网膜的感色原理，我们所观察的色彩都是RGB三原色组成，所以一个彩色图片便可有RGB三色的灰度图叠加而成，而每个灰度图片也是一
通俗学AI(1)：深入浅出LeNet，基础目标分类框架
Duke_Rodriguez的博客
08-10 746
通过LeNet网络，领悟卷积层与全连接层的使用逻辑，学习前卷积后全连接的目标分类框架。
SENet: 强化深度卷积神经网络的自适应特征学习
sc1434404661的博客
10-30 521
SENet的引入对深度学习和计算机视觉领域产生了深远的影响，它展示了通过自适应特征学习来提高模型性能的潜力。随着未来的研究和创新，SENet将继续在各种应用领域发挥关键作用，为解决复杂的视觉问题提供强大的工具。同时，SENet的核心思想也可以启发更多关于特征学习和自适应性的研究，推动深度学习领域的发展。需要代码的朋友关注笔者的微信公众号 BestSongC，在后台回复SENet即可获取资料，同时更多的资源如模型改进、可视化界面等都会在此发布。
学习笔记--目标分类7 googlenet-V4
weixin_42630613的博客
07-28 280
文章目录1、学习目标1.1、Inception-v4：76层1.2、Inception-ResNet1.3、Scaling of the Residuals2、inception系列3、启发点4、总结 Inception-4，Inception-Resnet and the Impact of residual connections on learning 1、学习目标 1.1、Inception-v4：76层 六大模块： stem、inception-A/B/C、reduction-A/B 1.2、In
常用的即插即用的注意力机制模块（SE、CBAM）
weixin_43980331的博客
09-08 2万+
CBAM注意力机制是由通道注意力机制（channel）和空间注意力机制（spatial）组成。 传统基于卷积神经网络的注意力机制更多的是关注对通道域的分析，局限于考虑特征图通道之间的作用关系。CBAM从 channel 和 spatial 两个作用域出发，引入空间注意力和通道注意力两个分析维度，实现从通道到空间的顺序注意力结构。空间注意力可使神经网络更加关注图像中对分类起决定作用的像素区域而忽略无关紧要的区域，通道注意力则用于处理特征图通道的分配关系，同时对两个维度进行注意力分配增强了注意
SENET和GateNet（推荐系统（embedding)）
原来是肖哈哈的博客
11-11 4405
SENET是在论文《Squeeze-and-Excitation Networks》中提出来的，应用在图像处理上的。主要思想：通过建模channel之间的关系来矫正channel的特征，以此提升神经网络的表征能力。（原文：adaptively recalibrates channel-wise feature responses by explicitly modelling interdependencies between channels。在图像中，一个channel可以先当于图像的一种特征。
【论文阅读】SENet：Squeeze-and-Excitation Networks
hu_yinghui的博客
10-17 2084
论文阅读：Squeeze-and-Excitation Networks 卷积神经网络建立在卷积运算的基础上，通过在局部感受野内融合空间信息和通道信息来提取信息特征。为了提高网络的表现力，最近的几种方法显示了增强空间编码的好处。在这项工作中，我们将重点放在通道关系上，并提出了一种新的架构单元，我们称之为SE块。它通过显式建模通道之间的相互依赖关系，自适应地重新校准通道特性响应。我们证明，通过将这些块堆叠在一起，我们可以构建在具有挑战性的数据集上非常通用的SENet架构。
SENet详解
热门推荐
AI人工智能与大数据
08-06 4万+
SENet是ImageNet 2017（ImageNet收官赛）的冠军模型，和ResNet的出现类似，都在很大程度上减小了之前模型的错误率（具体见附录），并且复杂度低，新增参数和计算量小。下面就来具体介绍一些SENet的神奇之处。 SENet的全称是Squeeze-and-Excitation Networks，中文可以翻译为压缩和激励网络。主要由两部分组成： 1. Squeeze部分。...
CNN-SENet-GRU
最新发布
07-01
SENet-GRU（Convolutional Neural Network with Squeeze-and-Excitation Network and Gated Recurrent Unit）是一种结合了卷积神经网络（CNN）、squeeze-and-excitation网络（SENet）以及门控循环单元（GRU）的深度...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值