通道注意力机制_注意力机制+ReLU激活函数=自适应参数化ReLU

最新推荐文章于 2024-07-29 17:29:05 发布
最新推荐文章于 2024-07-29 17:29:05 发布
阅读量865 收藏 4
点赞数
文章标签： 通道注意力机制
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39628405/article/details/111392526
版权
本文介绍了激活函数的发展，从ReLU到leaky ReLU再到PReLU，然后提出APReLU（自适应参数化修正线性单元），这是一种结合注意力机制的激活函数，允许每个样本拥有独特的非线性变换，提高了深度学习模型的表达能力。
摘要由CSDN通过智能技术生成

44e81df778c34576a29fbbb1b423ec23.png

本文首先盘点了传统的激活函数以及注意力机制，然后解读了一种注意力机制下的新型激活函数，也就是自适应参数化修正线性单元（Adaptively Parametric Rectifier Linear Unit，APReLU）。

1. 激活函数

激活函数是人工神经网络的核心部分，其用处是实现人工神经网络的非线性化。我们首先来介绍几种最常见的激活函数，即Sigmoid、Tanh和ReLU激活函数，分别如下图所示。

0d6442a648e4eb61f8fa12b702ba5629.png

Sigmoid和Tanh激活函数的梯度取值范围分别是(0,1)和(-1,1)。当层数较多时，人工神经网络可能会遭遇梯度消失的问题。ReLU激活函数的梯度要么是1，要么是0，能够很好地缓解梯度消失和梯度爆炸的风险，因此在近年来得到了广泛的使用。

但是，ReLU激活函数依然存在一点缺陷。如果在人工神经网络训练的时候，遇到了特征全部为负的情况，那么ReLU激活函数的输出就全部为零。这个时候，就训练失败了。为了回避这种情况，有的学者就提出了leaky ReLU激活函数，

最低0.47元/天 解锁文章
weixin_39628405
关注
注意力机制详解系列（二）：通道注意力机制
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
02-26 1万+
本篇主要介绍注意力机制中的通道注意力机制，对通道注意力机制方法进行详细讲解，通道注意力机制在计算机视觉中，更关注特征图中channel之间的关系，重点对SENet、ECANe进行重点讲解。
Squeeze-and-Excitation Networks（SENet：GAP+2个FC）通道注意力模型公式解析
qq_996686006的博客
01-07 1809
Squeeze-and-Excitation Networks SENet：通道注意力机制 1.卷积操作：Ftr:X∈RH′∗W′∗C′→U∈RH∗W∗CF_{tr}:X\in R^{H'*W'*C'} \to U\in R^{H*W*C}Ftr​:X∈RH′∗W′∗C′→U∈RH∗W∗C，V=[v1,v2,……,vc]V=[v_1,v_2,……,v_c]V=[v1​,v2​,……,vc​]表示卷积核学习到的一组参数。 2.Squeeze：（全局信息嵌入）每个卷积核都与一个区域相关联，但是每个卷积核没有
通道域（channel）注意力机制——SENet
码匀的博客
08-06 1万+
Paper 之前没有见过这玩意，首先介绍一下通道注意力吧： 不同的通道捕捉的是不同的特征（也就是每个特征图都是有偏重特征的），通道注意力就是用来衡量这些通道重要性的。下面是SENet的一个块： 可能这幅图更清楚： 其对应的公式： SEblock 代码： class SELayer(nn.Module): def __init__(self, channel, reduction=16): super(SELayer, self).__init__() self.
通道注意力机制(CA)
最新发布
kuailezzf的博客
07-29 1841
通道注意力机制（Channel Attention, CA）是一种广泛应用于计算机视觉中的注意力机制。它主要用于提取图像特征中不同通道之间的相关性，以帮助网络更好地聚焦于重要的特征信息。在深度学习中，卷积神经网络（CNN）通常通过堆叠多个卷积层来提取图像的高级特征表示。然而，具体来说，通道注意力机制通过引入一个注意力模块来学习每个通道的权重，从而动态调整每个通道的重要性。如图1所示，通道注意力机制通过以下步骤实现：输入：假设输入特征图的尺寸为C×H×W，其中C是通道数，H和W分别是高度和宽度。
Channel Attention 通道注意力
家鸽的代码屋
10-21 2万+
通道注意力总结SE-Net:Squeeze-and-Excitation NetworksCBAM: Convolutional Block Attention ModuleECA-Net: Efficient Channel Attention for Deep Convolutional Neural NetworksEPSANet: An Efficient Pyramid Squeeze Attention Block on Convolutional Neural NetworkFcaNet: F
深度残差网络+自适应参数化ReLU激活函数
07-28
自适应参数化ReLU激活函数（Adaptive Parametric Rectified Linear Unit）是一种激活函数，与传统的ReLU激活函数不同，它引入了可学习的参数。这样的激活函数具有更强的表达能力，能够更好地适应不同的输入数据分布...
深度残差网络+自适应参数化ReLU激活函数（调参记录16）
dangqing1988的博客
04-30 463
在调参记录15的基础上，将第一个残差模块的卷积核数量，从16个增加到32个，同时将自适应参数化ReLU激活函数中第一个全连接层的神经元个数改成原先的1/16，继续测试其在Cifar10数据集上的效果。 自适应参数化ReLU激活函数的基本原理如下： Keras程序： #!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Tue ...
深度残差网络+自适应参数化ReLU激活函数（调参记录4）
dangqing1988的博客
04-19 1897
续上一篇： 深度残差网络+自适应参数化ReLU激活函数（调参记录3） https://blog.csdn.net/dangqing1988/article/details/105601313 本文在深度残差网络中采用了自适应参数化ReLU激活函数，继续测试其在Cifar10图像集上的效果。与上一篇不同的是，这次修改了残差模块里面的结构，原先是两个3×3的卷积层，现在改成了1×1→3×3→1×1的瓶...
深度残差网络+自适应参数化ReLU激活函数（调参记录2）
dangqing1988的博客
04-18 517
续上一篇 https://blog.csdn.net/dangqing1988/article/details/105590515 本文依然是测试深度残差网络+自适应参数化ReLU激活函数，残差模块的数量增加到了27个，其他保持不变，卷积核的个数依然是8个、16个到32个，继续测试在Cifar10数据集上的效果。 其中，自适应参数化ReLU激活函数是Parametric ReLU的一种改进，基本原...
深度残差网络+自适应参数化ReLU激活函数（调参记录1）
dangqing1988的博客
04-18 1477
本文采用了深度残差网络和自适应参数化ReLU激活函数进行Cifar10的图像分类。 自适应参数化ReLU激活函数原本是应用在基于振动信号的故障诊断，是参数化ReLU的一种改进，其基本原理如下图所示。 ...
【Transformer系列（2）】注意力机制、自注意力机制、多头注意力机制、通道注意力机制、空间注意力机制超详细讲解
热门推荐
路人贾的博客
04-17 8万+
一文带你读懂注意力机制、自注意力机制、多头注意力机制、通道注意力机制、空间注意力机制，超详细的讲解，小白也能看得懂！
【SENet 解读】通道注意力：Squeeze-and-Excitation Networks
不积跬步，无以至千里！
06-06 3176
通道注意力机制SENet
通俗易懂理解通道注意力机制(CAM)与空间注意力机制(SAM)
IT菜鸟
02-01 3万+
通俗易懂理解通道注意力机制(CAM)与空间注意力机制(SAM)
YOLOv8独家改进：注意力独家魔改 | 一种新的空间和通道协同注意模块(SCSA)，充分挖掘通道和空间注意之间的协同作用 | 2024年7月最新成果
07-12 1457
提出了一种新的空间和通道协同注意模块(SCSA)，由两部分组成:可共享的多语义空间注意(SMSA)和渐进式信道自注意(PCSA)
视觉 注意力机制——通道注意力、空间注意力、自注意力、交叉注意力
qq_46981910的博客
07-15 1643
在计算机视觉领域，注意力机制（Attention Mechanism）已成为提升模型性能的关键技术之一。注意力机制通过模拟人类视觉的选择性注意力，能够在海量数据中自动聚焦于最相关的信息，从而提高模型的效率和准确性。下面将介绍通道注意力、空间注意力、自注意力和交叉注意力四种类型。
YOLOv10涨点改进：注意力独家魔改 | 一种新的空间和通道协同注意模块，充分挖掘通道和空间注意之间的协同作用 | 2024年7月最新成果
07-12 984
提出了一种新的空间和通道协同注意模块(SCSA)，由两部分组成:可共享的多语义空间注意(SMSA)和渐进式信道自注意(PCSA)
SeNet--通道注意力卷积
weixin_39326879的博客
12-07 2759
简介 SeNet是一种通道注意力卷积，通俗的讲，就是对每层特征图求平均值，得到（N，C，1，1），然后经过全连接得到对应系数（N，C，1，1），再乘到原始的特征图上（N，C，H，W); 原理上是挑选出更需要关注的特征，特征图是由卷积核卷积得到，有的卷积核关注横向的梯度，有的关注纵向的梯度，每个卷积核提取的特征不同，如果一个卷积核的系数值比较小，特征图的值也就比较小，也就意味着这个卷积核没有那么重要，那么SENet就希望缩小不重要的特征的系数，增大重要特征的系数； 网络流程图介绍 SeNet是放在卷积之后，对
空间注意力 通道注意力_请让我注意
weixin_26630173的博客
08-15 319
空间注意力 通道注意力How do I get your attention? You’re overloaded with information, right? Speed ​​and noise are two characteristics that define our world today and that makes it increasingly difficult for me...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值