SENet实战详解:使用SE-ReSNet50实现对植物幼苗的分类

介绍完具体的公式实现,下面介绍下SE block怎么运用到具体的网络之中。

img

上图是将 SE 模块嵌入到 Inception 结构的一个示例。方框旁边的维度信息代表该层的输出。

这里我们使用 global average pooling 作为 Squeeze 操作。紧接着两个 Fully Connected 层组成一个 Bottleneck 结构去建模通道间的相关性,并输出和输入特征同样数目的权重。我们首先将特征维度降低到输入的 1/16,然后经过 ReLu 激活后再通过一个 Fully Connected 层升回到原来的维度。这样做比直接用一个 Fully Connected 层的好处在于:

1)具有更多的非线性,可以更好地拟合通道间复杂的相关性;

2)极大地减少了参数量和计算量。然后通过一个 Sigmoid 的门获得 0~1 之间归一化的权重,最后通过一个 Scale 的操作来将归一化后的权重加权到每个通道的特征上。

除此之外,SE 模块还可以嵌入到含有 skip-connections 的模块中。上右图是将 SE 嵌入到 ResNet 模块中的一个例子,操作过程基本和 SE-Inception 一样,只不过是在 Addition 前对分支上 Residual 的特征进行了特征重标定。如果对 Addition 后主支上的特征进行重标定,由于在主干上存在 0~1 的 scale 操作,在网络较深 BP 优化时就会在靠近输入层容易出现梯度消散的情况,导致模型难以优化。

目前大多数的主流网络都是基于这两种类似的单元通过 repeat 方式叠加来构造的。由此可见,SE 模块可以嵌入到现在几乎所有的网络结构中。通过在原始网络结构的 building block 单元中嵌入 SE 模块,我们可以获得不同种类的 SENet。如 SE-BN-Inception、SE-ResNet、SE-ReNeXt、SE-Inception-ResNet-v2 等等。

本例通过实现SE-ResNet,来显示如何将SE模块嵌入到ResNet网络中。SE-ResNet模型如下图:

img

实战详解

===============================================================

1、数据集


数据集选用植物幼苗分类,总共12类。数据集连接如下:

链接:https://pan.baidu.com/s/1gYb-3XCZBhBoEFyj6d_kdw

提取码:q060

在工程的根目录新建data文件夹,获取数据集后,将trian和test解压放到data文件夹下面,如下图:

image-20211021182712396

2、安装库,并导入需要的

  • 20
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SE-ResNet是PyTorch中的一种卷积神经网络模型,其本质是ResNetSENet的结合。ResNet,全称为残差网络,是一种具有很深的层数的卷积神经网络结构,其中引入了残差学习,可以缓解由于网络深度导致的梯度消失和梯度爆炸问题。SENet,全称为Squeeze-Excitation网络,是一种轻量化模型,其主要优点是引入了注意力机制,可以使网络更加关注重要的特征信息,在减少参数量的同时提升网络性能。 SE-ResNet是在ResNet的基础上引入SENET的注意力机制,其主要思想是在特征图上进行通道化的自适应特征重要性学习,对每个通道进一步限制和平衡其权重影响,以提高神经网络的特征表达能力。在这个模型中,残差单元接受输入后,先经过一层SE模块,其中包含一个squeeze操作和一个excitation操作,用于自适应地学习通道权重。然后,在经过具有恒等映射的快捷连接之前,再添加一个1x1的卷积层,用于进一步融合通道级的特征重要性。 SE-ResNet是一种非常有效的卷积神经网络模型,具有较高的性能表现,特别是在分类、检测和分割等任务的应用中都取得了非常好的效果。其优点主要是能够有效处理大规模数据和高维特征,同时还能减少网络参数和计算量,使得模型更加轻量化和高效化。同时,PyTorch作为一种非常受欢迎的深度学习框架,提供了丰富的工具和资源,使得该模型的实现使用变得更加容易和便捷。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值