SEBlock、SKNet、non-local、GloRe、Octave

最新推荐文章于 2024-03-11 08:46:57 发布
最新推荐文章于 2024-03-11 08:46:57 发布
阅读量806 收藏 7
点赞数
分类专栏： 论文学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lovekkarlie_/article/details/118412721
版权

SEBlock

SEBlock文章地址
代码地址
文章专注于通道关系，提出SE block，将这些块堆叠在一起，SENet。
在这里插入图片描述
SE block给定一个输入 x，其特征通道数为c1，通过一系列卷积等一般变换后得到一个特征通道数为c2的特征。与传统的 CNN 不一样的是：
首先是 Squeeze 操作，顺着空间维度来进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配。它表征着在特征通道上响应的全局分布，而且使得靠近输入的层也可以获得全局的感受野，这一点在很多任务中都是非常有用的。
其次是 Excitation 操作，它是一个类似于循环神经网络中门的机制。通过参数 w 来为每个特征通道生成权重，其中参数 w 被学习用来显式地建模特征通道间的相关性。
最后是一个 Reweight 的操作，我们将 Excitation 的输出的权重看做是经过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定。
在这里插入图片描述
在这里插入图片描述

SKNet

SKNet文章地址
文章的motivation是发现过去的卷积网络在每层都share相同的感受野大小，而在神经科学中，视觉皮层单元中的感受野大小应该是受stimulus变化而自适应调整，故SK unit 就是实现这个功能。对多个不同感受野大小的branch进行融合，融合中使用的是类SENet结构，最后使用类似门机制的softmax attention来分配branch的重要性。在这里插入图片描述
Split 即进行不同感受野卷积操作，上面的branch为3x3 kernel, dilate size=1的，而下面的为5x5 的dilate size=2的卷积(为了进一步提高效率，将常规的5x5卷积替换为5x5的空洞卷积)。
Fuse 即进行特征融合，对两个branch卷积后的特征进行叠加，然后标准SE过程（Global AVG, FC-BN-ReLU，FC），这里最后的FC是分别出来两个branch的channel weight vector
Select 即对Fuse最后的两个branch的channel weight vector进行每个位置各自的Softmax操作，类似门机制，可得到两个branch中每个channel各自的权值，乘回原始特征中，最后进行特征叠加。

non-local

non-local文章地址
y i = 1 C ( x ) f ( x i , x j ) g ( x j ) y_i=\frac{1}{C(x)}f(x_i,x_j)g(x_j) yi​=C(x)1​f(xi​,xj​)g(xj</

最低0.47元/天 解锁文章
KrystalKarlieKarina
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SEBlock.github.io
05-13
SEBlock.github.io
SKNet-PyTorch:SKNet的PyTorch实现近乎完美且易于理解
05-22
SKNet-Pytorch 近乎完美且易于理解的PyTorch实现 我使用PyTorch重新实现了SKNET。 尽管有许多SKNET的PyTorch实现，但是它们与原始论文中描述的实现不同，并且我很难理解它们的实现。 所以我做了。 选择性核卷积 请...
SE Block（Sequeze and Excitation）
qq_43703185的博客
08-24 1043
原文链接： https://blog.csdn.net/bl128ve900/article/details/93778729       看senet block的代码，明白如何实现 def Squeeze_excitation_layer(self, input_x, out_dim, ratio,
SE block
最新发布
weixin_42731794的博客
03-11 689
2018发表，2017年获得了分类大赛的冠军即插即用模块。论文出发点或背景：卷积神经网络注重抽取一些特征，用局部感受野来融合空间和通道信息来获取信息。为了促进网络的表达力，。为了关注通道关系并提出了一个新架构，就叫SE block。。（不太理解）原文：that adaptively recalibrates channel-wise feature responses by explicitly modelling interdependencies between channels.
SE Block （Sequeze and Excitation）
热门推荐
bl128ve900的博客
06-26 2万+
看senet block的代码，明白如何实现 def Squeeze_excitation_layer(self, input_x, out_dim, ratio, layer_name): with tf.name_scope(layer_name) : squeeze = Global_Average_Pooling(input_x)#对每...
SE Block 在特定情况可能会产生的害处（未使用专门实验验证，仅记录）
ONE_SIX_MIX的专栏
07-20 835
（未使用专门实验验证，仅记录，有空再专门弄个实验验证） 记录下实验情况。 模型结构 模型中每个残差块的特征提取分支末端均加了 SEBlock。 训练输入图像特点：亮度比较高的图像，如下面这种 验证输入图像特点：原始亮度较高，但填充了一大块黑色区域的图像，如下面这种 训练中，图像增强过程中，没有做过添加大块黑色区域的增强。 训练后， 如果输入图1，模型能正常输出概率热图（有细胞核的地方将会输出1.0概率值）。 如果输入图2，概率热图左边那块区域的热图的概率值将会大幅度下降，约为0.1，接近全黑。 如果将图
spert:SpERT的PyTorch代码
05-13
SpERT：基于跨度的实体和关系转换器SpERT的PyTorch代码：“基于跨度的实体和关系转换器”。 有关模型和实验的说明，请参见我们的论文： : （ECAI 2020年接受）。设置要求必需的Python 3.5+ PyTorch（经过1.4.0版测试...
基于Python实现的SKNet复现与改进源码+数据集
03-08
"基于Python实现的SKNet复现与改进源码+数据集" 这个标题表明了资源的主要内容，它是一个使用Python编程语言实现的项目，目的是复现并改进一种名为SKNet（可能是指Squeeze-and-Kinetic Network）的深度学习模型。...
CIFAR-ZOO:CIFAR基准的CNN的PyTorch实施
05-09
（sknet） SKNet：选择性内核网络 正则化 （摇一摇）摇一摇正则化 （抠图）使用抠图改善卷积神经网络的正则化 （混合）混合：超越经验风险最小化 学习率调度器 （cos_lr） SGDR：具有温暖重启功能的随机梯度下降 ...
SEBlock | ECABlock | CBAM
whaosoft143ai的博客
11-02 1770
图1 VGG网络特征结构图 其中，特征图常见的矩阵形状为[ C , H , W ](图1中的数字为[ H , W , C ] 格式)。当model在training时，特征图的矩阵形状为[ B , C , H , W ]。其中B表示为batch size(批处理大小)，C表示为channels(通道数)，H表示为特征图的high(高度)，W表示为特征图的weight(宽度) 提问：为什么特征图的维度就是[ B , C , H , W ]，而不是其他什么维度格式？ 回答：pytorch在处理图像时，读入
【深度学习经典网络架构—8】：注意力机制之SE_Block
王乐予的博客
03-24 1万+
😺一、引言 类似于人脑的注意力感知，那卷积神经网络能否也能产生注意力效果呢？答案是：**可以！** **SE_Block是SENet的子结构**，作者将SE_Block用于ResNeXt中，并在ILSVRC 2017大赛中拿到了分类任务的第一名，在ImageNet数据集上将top-5 error降低到2.251%，比2016年的最好成绩提高了约25%。 论文链接：[Squeeze-and-Excitation Networks](https://arxiv.org/abs/1709.01507) 开源
【Paper Note】SENet论文——SE block详解
roguesir的博客
04-27 1万+
SENet这篇文章是CNN based，目前在推荐领域应用也很广泛，正好前几天看了MaskNet的论文，回头看这篇论文时候，发现SE block的作用和Mask block作用相似，顺便记录一下～ SENet论文中给出的结构如下，由于论文是在CNN模型中提出的SE block 基本的流程如下： zc=Fsq(uc)=1H×W∑i=1H∑j=1Wuc(i,j)z_c=F_{sq}(u_c)=\frac{1}{H \times W}\sum_{i=1}^{H}{\sum_{j=1}^{W}{u_c(i,j).
pytorch 实现 SE Block
weixin_41845840的博客
12-27 6741
pytorch 实现 SE Block论文模块图代码 论文模块图 代码 import torch.nn as nn class SE_Block(nn.Module): def __init__(self, ch_in, reduction=16): super(SE_Block, self).__init__() self.avg_pool = nn.A...
论文翻译-Three Stream 3D CNN with SE Block for Micro- Expression Recognition
想握住此生辽阔
10-16 1006
用于微表情识别的三流3D CNN 论文地址：链接：https://pan.baidu.com/s/1VQxxIKb51N4DUCnLiOUP3g 提取码：55e7 摘要——微表情是一种短期的、不易察觉的面部表情。本文提出了一种利用三维神经网络进行微表情识别的方法。三个不同的面部区域被用作三个流的输入。在网络中加入SE块可以自适应地学习每个特征通道的权重。实验结果表明，该方法能有效提高微表情的识别性能。 关键词——微表情识别；挤压和励磁网络；3D CNN 一.引言 面部表情是人类日常交流的重要组成部分，传递着
通道注意力机制SEblock
weixin_43577679的博客
03-16 6125
对于任何给定的变换，例如卷积或一组卷积操作，都可以添加一个相应的挤压和激励模块（Squeeze-and-Excitation block）[14] 用于重新校准特征。 如图1所示，特征U首先经过一次挤压(squeeze)操作，通过在空间维度上整合特征图的方式，生成一个通道描述符。该描述符中嵌入了通道特征响应的全局分布，目的在于帮助网络更低层利用来自全局感受野的信息。之后进行一次激励(exciation)操作，通过基于通道间依赖性的自门限机制(self-gating mechanism)来考察各通道间的依赖
CV-CNN-2017：SENet【SENet由一些列SE block组成，关注特征的通道关系】【一个SE block的过程分为Squeeze（压缩）和Excitation（激发）两个步骤】
u013250861的博客
08-31 238
CV-BaseLine07：SENet
注意力机制的两种模块SEblock 和 CBAM模块
qxqsunshine的博客
07-29 1万+
1.SENet模块 def SE_moudle(input_xs,reduction_ratio = 16.): shape = input_xs.get_shape().as_list() se_module = tf.reduce_mean(input_xs,[1,2]) #第一个Dense：shape[-1]/reduction_ratio：即把input_channel再除以reduction_ratio，使channel下降到指定维度数 se_module =.
SENET论文笔记注意力机制
qq_52038588的博客
12-05 1335
Squeeze-and-Excitation Networks 2019SE block，卷积注意力
深度学习中的注意力机制：从Non-local到SENet
文章特别提到了Non-local和SENet这两项在2018年CVPR会议上提出的重要工作，Non-local关注空间注意力，而SENet则强调通道注意力，并且介绍了这两个方法的具体实现细节。" 在计算机视觉领域，注意力机制是一个关键...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值