CV——dy83 接昨天的论文中DAM模块：压缩-激励的宽残差网络在图像分类中的应用

最新推荐文章于 2025-04-21 21:35:13 发布
最新推荐文章于 2025-04-21 21:35:13 发布
阅读量891 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： CV 文章标签： 网络 分类 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43537420/article/details/129343676
文章介绍了SE-WRN（Squeeze-and-ExcitationWiderResidualNetworks），这是一种通过增强重要通道和抑制不重要通道来提升图像分类性能的技术。SE-blocks通过全局平均池化处理通道信息，而rSE-blocks则解决了信息丢失的问题。在CIFAR数据集上的实验显示，这种方法能有效提高分类准确率，同时仅轻微增加模型复杂度。

压缩-激励的宽残差网络在图像分类中的应用（ICIP 2019）

SQUEEZE-AND-EXCITATION WIDE RESIDUAL NETWORKS IN IMAGE CLASSIFICATION

image-20230305103420138

在昨天的论文中，DAM模块中右侧分支就是基于本文所提出的SE-block，今天来了解一下这个模块。

1. INTRODUCTION

宽残差网络(WRNs:Wide residual networks)表明，与增加残差网络深度相比，拓宽残差块(如果处理得当)可以更有效地提高残差网络的性能。

SE-WRNs可以增强信息通道并抑制不太有用的通道，SE-WRNs块是计算轻量级的，只略微增加模型复杂度和计算量。

SE-blocks中的全局平均池化会导致信息的丢失，因此我们提出了一个r(残差)SE-blocks块，将在后面的章节中介绍，我们的rSE-blocks在计算上也是轻量级的。

综上所述，我们的工作贡献如下：

(1 )我们提出了SE-WRNs。与WRNs仅仅增加通道数量不同，SE-WRNs增加了有效通道。为了避免过拟合，提出了一种带有dropout的SE-block块。

(2) 然后，我们提出了利用通道间关系提高图像分类性能的SE-WRNs-GVP(全局平均池化)算法。

(3) 为了避免SE-block中的信息丢失，提出了一种残差SE-block。

2. PROPOSED METHODS

2.1 总体框架

WRN已经证明基本残差结构的3 × 3卷积层中的每一层都是重要的，因此我们采用在WRN中的卷积类型。WRN-n

最低0.47元/天 解锁文章
【图像拼接】论文精读：Parallax-Tolerant Unsupervised Deep Image Stitching（UDIS++）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
12-01 2万+
论文题目：Parallax-Tolerant Unsupervised Deep Image Stitching——无监督深度图像拼接解决视差问题图 1：现有方法的局限性。(a) UDIS41通过模糊视差区域(用红色突出显示)来处理大视差。(b) LPC [19]（传统方法）在没有足够的几何特征的低纹理场景中失败。相反，我们的解决方案不受这些限制，在具有挑战性的环境中都取得了有希望的结果。传统的图像拼接方法倾向于利用越来越复杂的几何特征(如点、线、边等)以获得更好的性能。
TPAMI 2024 | 深度有损加残差编码用于无损和近无损图像压缩
小白学视觉
06-18 405
作者：Yuanchao Bai; Xianming Liu; Kai Wang; Xiangyang Ji; Xiaolin Wu; Wen Gao无损和近无损图像压缩对于许多技术领域的专业用户至关重要，如医学、遥感、精密工程和科学研究。然而，尽管基于学习的图像压缩研究兴趣迅速增长，但没有任何已发表的方法同时提供无损和近无损模式。在本文中，我们提出了一种统一且强大的深度有损加残差 (DLPR) 编码框架，用于无损和近无损图像压缩。在无损模式下，DLPR 编码系统首先执行有损压缩，然后对残差进行无损编码。我们
wrn-tensorflow:宽残差网络（https:__www.microsoft.com_zh-cn_tensorflow）
05-15
张量流 宽残差网络的张量流实现（ ） 参考： 原始代码： : 先决条件 的Python 3 TensorFlow 1.8+ 怎么跑 # Clone the repo. git clone https://github.com/dalgu90/wrn-tensorflow.git cd wrn-tensorflow # Download CIFAR-100 dataset wget https://www.cs.toronto.edu/~kriz/cifar-100-binary.tar.gz tar xvf cifar-100-binary.tar.gz # Run! (WRN-28-1) ./train.sh # To evaluate ./eval.sh wrn_28_1 4 1
SE模块详解
热门推荐
qq_42617455的博客
08-22 5万+
下图表示一个SE 模块。主要包含Squeeze和Excitation两部分。W，H表示特征图宽，高。C表示通道数，输入特征图大小为W×H×C。 1、压缩（Squeeze） 第一步是压缩（Squeeze）操作，如下图所示 这个操作就是一个全局平均池化（global average pooling）。经过压缩操作后特征图被压缩为1×1×C向量。 2、激励（Excitation） 接下来就是激励（Excitation）操作，如下图所示 由两个全连接层组成，其中SERatio是一个缩放参数，这个参数的目的是为
CV——day82 读论文：遥感目标检测的改进注意力特征融合SSD (AF-SSD)方法
想太多的学习日志
03-05 2188
本文提出了一种单阶段遥感目标探测模型，我们称之为AF-SSD。为了解决物体小、背景复杂和尺度变化带来的问题，我们首先引入自顶向下的FFM融合浅层和上层的特征。然后，引入一个DAM来抑制背景噪声。然后，设计了一个MRF模块来扩大接收域和捕获多尺度特征。此外，我们对损失函数进行了改进，以缓解正、负样本之间的不平衡。在DOTA和NWPU VHR-10上的实验结果表明，该方法对航拍图像中的小目标具有较好的检测效果。
【Attention(9)】【CNN-attention机制】Squeeze-and-Excitation Networks（SENet）通过压缩与激励实现特征强化，最简单最易实现的SE模块
Hali_Botebie的博客
04-27 1420
Squeeze-and-Excitation Networks（SENet）是由自动驾驶公司Momenta在2017年公布的一种全新的图像识别结构，它通过对特征通道间的相关性进行建模，把重要的特征进行强化来提升准确率。这个结构是2017 ILSVR竞赛的冠军，top5的错误率达到了2.251%，比2016年的第一名还要低25%，可谓提升巨大。这么大的提升是怎么来的呢？今天就来介绍下这个冠军背后的原理细节。 一、结构和原理 图1是SENet的Block单元，图中的Ftr是传统的卷积结构，X和U是Ftr的输入
⌈ 传知代码 ⌋ WRN: 宽度残差网络
Dream_Y.ocean的博客
08-18 1096
本文复现论文提出的深度神经网络模型。为了解决深度神经网络梯度消失的问题，深度残差网络(Residual Network[2])被提出。然而，仅为了提高千分之一的准确率，也要将网络的层数翻倍，这使得网络的训练变得非常缓慢。为了解决这些问题，该论文对ResNet基本块的架构进行了改进并提出了一种新颖的架构——宽度残差网络（Wide Residual Network），其减少了深度并增加了残差网络的宽度。
【图像拼接】论文精读：Parallax-Tolerant Image Stitching with Epipolar Displacement Field（EDF）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
12-03 2万+
论文题目：Parallax-Tolerant Image Stitching with Epipolar Displacement Field——具有极位移场的视差容忍图像拼接大视差图像拼接是一项具有挑战性的任务。现有的方法往往难以保持图像的局部和全局结构，同时减少对齐伪影和扭曲失真。在本文中，我们提出了一种新的方法，利用极线几何建立基于极线位移场的翘曲技术。最初，极线几何中像素的翘曲规则是通过无限单应性建立的。随后，根据局部弹性变形原理，用薄板样条表示扭曲像素沿极线的滑动距离的核极位移场。
材料力学数值方法：有限元法(FEM)在流体力学中的应用_2024-08-04_00-17-21.Tex
最新发布
04-21 113
有限元法（Finite Element Method, FEM）是一种数值计算方法，用于求解复杂的工程问题，如结构力学、热传导、流体力学等。它将连续的物理域离散化为有限数量的、形状规则的子域，即“有限元”。每个子域内的物理量（如位移、压力、温度等）用多项式函数近似表示，通过在每个子域内应用物理定律（如牛顿第二定律、连续性方程等），并结合边界条件，可以建立整个物理域的数学模型。最终，通过求解这些数学模型，可以得到物理量的近似解。
SENet：Squeeze-and-Excitation Networks——压缩与激励网络
Together_CZ的博客
02-23 1390
SENet：Squeeze-and-Excitation Networks——压缩与激励网络
【Mo 人工智能技术博客】残差网络（ResNet）
Mo 的博客
07-07 1万+
残差网络 残差网络（Residual Network简称ResNet）是在2015年继Alexnet Googlenet VGG三个经典的CNN网络之后提出的，并在ImageNet比赛classification任务上拔得头筹，ResNet因其简单又实用的优点，现已在检测，分割，识别等领域被广泛的应用。    ResNet可以说是过去几年中计算机视觉和深度学习领域最具开创性的工......
【挤压-激励-网络】Squeeze-Excitation-Networks
qq_31828933的博客
10-26 1101
SE构建块的基本结构如下图所示：对于任意给定的变换,我们就可以构造一个SE模块来重新校准，特征U首先通过挤压Squeeze操作，跨越空间维度W*H聚合特征响应来产生通道描述符。之后是激励Excitation操作，通过依赖性的自门机制为每个通道学习特征采样激活，控制每个通道的激励。然后特征映射U重新加权生成SE块输出，此输出可以直接输入到后面的层中。
宽残差网络——WRN
Sky
12-07 7992
宽残差网络——Wide Residual Network 文章出自Sergey Zagoruyko的Wide Residual Network 残差网络——Residual Network近年来，残差网络（Residual Network）在各个测试集上都取得了不错的效果，其网络结构如下图所示， 其网络网络由残差模块组成 其中的跳跃式连接可以将残差很好的传递过去，从而避免梯度消失的现象。
【亲测免费】 推荐文章：深度学习新锐——「全卷积神经网络」的挤压与激励模块
gitblog_00928的博客
08-30 882
推荐文章：深度学习新锐——「全卷积神经网络」的挤压与激励模块 在当今深度学习领域，模型的效率和性能是研究人员和开发者不懈追求的目标。针对这一需求，我们隆重推荐一个基于PyTorch实现的开源项目——“用于全卷积神经网络的挤压与激励（Squeeze and Excitation）块”。这个项目由Abhijit Guha Roy、Shayan Siddiqui和Anne-Marie Rickmann共...
Wide Residual Networks
Coding
02-13 1001
最近在研究ResNet的各种变体，看到一个宽残差网络（Wide Residual Networks）。它所谓的宽度（width）指卷积层的输出通道数，它希望通过通道翻N倍来换取较浅的网络（depth），以此来提高inference的时候的速度。文章地址：https://arxiv.org/abs/1605.07146 它不能增大卷积核来扩大所谓的宽度，因为从VGG开始的各种网络已经抛弃大卷积核。...
【翻译笔记】Squeeze-and-Excitation Networks
Kaleidoscope的博客
04-27 4527
卷积神经网络（CNN）的核心模块是卷积块，它使网络能够融合每层局部感受野内的空间和通道信息构建信息特征。 大量的先前研究已经研究了这种关系的空间结构，试图通过在整个特征层次上提高空间编码的质量来增强CNN的表示能力。 在这项工作中，我们将重点放在通道关系上，并提出一个新颖的体系结构单元，我们称之为“挤压和激励”（SE）块，该模块通过显式建模通道之间的相互依赖性来自适应地重新校准通道方式的特征响应。 我们展示了模块堆叠在一起以形成的SENet架构，该架构可以非常有效地概括不同数据集。
WideResNet(宽残差网络)介绍与代码
ResumeProject的博客
01-10 6753
《Wide Residual Networks》        深度残差网络被证明能够扩展到数千层并且仍然具有改进的性能。然而，每提高== 1%== 的准确率都会使层数增加近一倍，因此训练非常深的残差网络存在特征重用减少的问题，这使得这些网络的训练速度非常慢。为了解决这些问题，在本文中，我们对 ResNet 块的架构进行了详细的实验研究，在此基础上我们提出了一种新颖的架构，我们减少了深度和增加残差网络的宽度。我们将由此产生的网络结构称为宽
WideResNet(宽残差网络)算法解析-鸟类识别分类-Paddle实战
一名在读大学生，正在学习深度学习，会定期分享一些该领域内容。欢迎大家一起交流学习~
06-27 2302
在计算机视觉领域，卷积神经网络（CNN）已经成为最主流的方法，比如GoogLenet，VGG-16，Incepetion等模型。CNN史上的一个里程碑事件是ResNet模型的出现，ResNet可以训练出更深的CNN模型，从而实现更高的准确度。ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”（shortcuts，skip connection），进而训练出更深的CNN网络。但是随着深度神经网络的继续发展，网络的层数也在不断地增加，而分类准确度每提高百分之一的代价几乎是层数的两倍。
WideResNet(宽残差网络)算法解析-鸟类识别分类-Pytorch实战
m0_63642362的博客
06-30 3008
WideResNet（宽残差网络）是一种深度卷积神经网络架构，其主要特点是使用宽卷积层，增加了网络的通道数。该网络通过引入残差连接来缓解深度网络的梯度消失问题.....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值