YOLOv5改进系列（13）——更换激活函数之SiLU，ReLU，ELU，Hardswish，Mish，Softplus，AconC系列等

已于 2023-07-04 16:03:47 修改
阅读量6.3k 收藏 26
点赞数 6
分类专栏： YOLOv5入门＋实践＋改进 文章标签： YOLO 目标检测 计算机视觉 人工智能 深度学习
于 2023-07-04 16:02:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43334693/article/details/131513850
版权
本文深入探讨了激活函数在深度学习中的作用，特别是针对YOLOv5模型，包括sigmoid, tanh, ReLU, SiLU, swish, hardswish, Mish, ELU, AconC/MetaAconC和Softplus等的优缺点，以及更换激活函数的步骤。激活函数选择需考虑模型的表达能力和梯度消失问题，ReLU因其计算效率而广泛使用，而SiLU和Swish等新激活函数在某些场景下表现更优。" 6113963,91790,计算两条线段的交点算法,"['几何计算', '算法', '二维坐标系']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

962f7cb1b48f44e29d9beb1d499d0530.gif【YOLOv5改进系列】前期回顾：

YOLOv5改进系列（0）——重要性能指标与训练结果评价及分析

YOLOv5改进系列（1）——添加SE注意力机制

YOLOv5改进系列（2）——添加CBAM注意力机制

YOLOv5改进系列（3）——添加CA注意力机制

YOLOv5改进系列（4）——添加ECA注意力机制

YOLOv5改进系列（5）——替换主干网络之 MobileNetV3

YOLOv5改进系列（6）——替换主干网络之 ShuffleNetV2

YOLOv5改进系列（7）——添加SimAM注意力机制

YOLOv5改进系列（8）——添加SOCA注意力机制

YOLOv5改进系列（9）——替换主干网络之EfficientNetv2

​​​​​​YOLOv5改进系列（10）——替换主干网络之GhostNet

YOLOv5改进系列（11）——添加损失函数之EIoU、AlphaIoU、SIoU、WIoU

YOLOv5改进系列（12）——更换Neck之BiFPN

目录

🌲一、激活函数的简介

1.1 什么是激活函数？

1.2 激活函数有什么用？

🌲二、一些常见的激活函数

🌻2.1 sigmoid函数

🌻2.2 tanh / 双曲正切激活函数

🌻2.3 ReLU激活函数

🌻2.4 SiLU 

🌻2.5 swish激活函数

了解本专栏 订阅专栏 解锁全文 超级会员免费看
改进YOLOv5的激活函数选择：SiLU、ReLU、ELU、Hardswish、Mish、Softplus和AconC系列
IdfdFsharp的博客
09-18 1448
激活函数在神经网络中起着重要的作用，它们引入了非线性性质，帮助网络模型学习复杂的特征表示。在YOLOv5中，选择合适的激活函数对于提高模型的性能和准确性至关重要。本文将讨论改进YOLOv5的激活函数选择。我们将介绍SiLU、ReLU、ELU、Hardswish、Mish、Softplus和AconC系列等常用激活函数，并提供相应的源代码示例。以上是几种常用的改进YOLOv5的激活函数选择。在实际应用中，可以根据具体的任务和数据集特点选择适合的激活函数，以提高模型的性能和准确性。
YOLOv5/v 更改激活函数：计算机视觉研究
JjtlReact的博客
09-19 335
激活函数是深度学习中的关键组成部分，它对于神经网络的性能和收敛速度有重要影响。在计算机视觉领域，YOLOv5/v是一个广泛应用的目标检测框架，它具有高精度和实时性能。本文将探讨如何在YOLOv5/v中更改激活函数，并提供相应的源代码。YOLOv5/v是一种基于单阶段目标检测方法的模型，它采用了骨干网络和检测头两个部分。骨干网络用于提取图像特征，而检测头用于预测目标的边界框和类别。在YOLOv5/v中，激活函数通常用于增加非线性能力，帮助模型更好地捕捉图像特征。一种常见的激活函数是ReLU（Rectified
【YOLOv5/v7改进系列】替换激活函数为SiLU、ReLU、LeakyReLU、FReLU、PReLU、Hardswish、Mish、ELU等
2401_84870184的博客
05-24 5125
激活函数不仅决定了神经网络的学习能力，还在很大程度上影响了目标检测模型的精度、训练效率以及最终的检测性能。因此，在设计目标检测网络时，精心选择和设计激活函数是一个重要环节。
YOLOv5改进系列(二) 更换激活函数SiLU，ReLU，ELU，Hardswish，Mish，Softplus，AconC等
专注于人工智能学习，总结
12-14 7763
1.1 什么是激活函数？在接触到深度学习（Deep Learning）后，特别是神经网络中，我们会发现在每一层的神经网络输出后都会使用一个函数（比如sigmoid，tanh，Relu等等）对结果进行运算，这个函数就是激活函数（Activation Function）。那么为什么需要添加激活函数呢？如果不添加又会产生什么问题呢？首先，我们知道神经网络模拟了人类神经元的工作机理，**激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。**
YOLOv5 改进激活函数（小白笔记）
Cgyaobiye的博客
10-27 2603
YOLOv5激活函数更改
Yolov5更换激活函数
m0_56247038的博客
05-22 5235
yolov5中utils/activations.py文件中已经写好了好多种激活函数，直接调用即可 如果要调用需要去common.py文件里修改，改完记得导入一下 想更换其他激活函数可以参照下面代码 class Conv(nn.Module): # Standard convolution def __init__(self, c1, c2, k=1, s=1, p=None, g=1, act=True): # ch_in, ch_out, kernel, strid
YOLOv5/v7 更换激活函数
热门推荐
YOLOv8项目贡献者
04-26 2万+
教你YOLOv5/v7更换激活函数
YOLOv5算法改进（18）— 手把手教你去更换激活函数（SiLU/ReLU/ELU/Hardswish/Mish/Softplus）
突然好想你
09-18 2145
在YOLOv5中，使用了不同的激活函数。本节课就简单介绍一下常见的激活函数并重点讲解如何去更换激活函数！
YOLOv5改进系列(二) 本文(1.万字) | 解读各种激活函数 | 更换激活函数 | SiLU | ReLU | ELU | Hardswish | Mish | Softplus | 等 |
专注于人工智能学习，总结
12-29 1330
在接触到深度学习（Deep Learning）后，特别是神经网络中，我们会发现在每一层的神经网络输出后都会使用一个函数（比如sigmoid，tanh，Relu等等）对结果进行运算，这个函数就是激活函数（Activation Function）。那么为什么需要添加激活函数呢？如果不添加又会产生什么问题呢？首先，我们知道神经网络模拟了人类神经元的工作机理，**激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。**
YOLOv5更换激活函数（FReLU+SE机制）
恐龙先生的博客
06-01 1万+
本次我们在卷积层添加SE注意力模块来改进YOLOv5算法，同时用FReLU替换SILU激活函数，并通过添加跳转连接来改进PANet特征融合网络。
YOLOv8改进 | 激活函数 | 十余种常见的激活函数一键替换【完整代码】
最新发布
kay_545
08-02 2106
yolov8改进，激活函数，yolov8
yolov5 激活函数 SiLU 改为 ReLU
SZ170110231的博客
11-01 618
在这里插入图片描述。
【YOLOv7/YOLOv5系列算法改进NO.54】改进激活函数为ReLU、RReLU、Hardtanh、ReLU6、Sigmoid、Tanh、Mish、Hardswish、ELU、CELU等
m0_70388905的博客
01-23 6059
更多激活函数选择——数十种激活函数改进方法。
YOLOv8修改激活函数
weixin_45303602的博客
08-02 2501
不过 ultralytics 并没有直接将开源库命名为 YOLOv8，而是直接使用 ultralytics 这个词，原因是 ultralytics 将这个库定位为算法框架，而非某一个特定算法，一个主要特点是可扩展性。按照官方描述，YOLOv8 是一个 SOTA 模型，它建立在以前 YOLO 版本的成功基础上，并引入了新的功能和改进，以进一步提升性能和灵活性。具体创新包括一个新的骨干网络、一个新的 Ancher-Free 检测头和一个新的损失函数，可以在从 CPU 到 GPU 的各种硬件平台上运行。
更换YOLOv5激活函数
Barry_Qu的博客
04-27 8867
YOLOv5更换激活函数
YOLOv5的Tricks | 【Trick1】关于激活函数Activation的改进汇总
Clichong
06-01 7393
如有错误，恳请指出。在yolov5模型搭建的过程实现中，额外实现了很多非常新奇有趣的激活函数，不再是的简单nn.ReLU等，所以这里使用这篇笔记来对这一些列的激活函数进行总结归纳。关于激活函数，在很早之前我写过一篇笔记介绍，笔记链接：激活函数与Loss函数求导，在这里主要介绍的是目标检测yolov5算法中实现的一些的激活函数，主要设计ReLU函数及其变体，包含ReLU，PReLU，RReLU，FReLU，Swish，Mish，Acon系列，Dynamic ReLU系列。ReLU相比之前的 Sigmoid/t
目标检测算法——YOLOv5/YOLOv7改进之更换FReLU激活函数
加勒比海带66——【YOLO魔法搭配&论文投稿咨询】
10-27 1万+
目标检测算法——YOLOv5/YOLOv7更换FReLU激活函数。
【YOLOv7/YOLOv5系列算法改进NO.47】改进激活函数为GELU
m0_70388905的博客
11-17 7674
【YOLO系列改进NO.47】改进激活函数为GELU
YOLOv5系列(十三) 解析激活函数部分activations(详尽)
专注于人工智能学习，总结
11-29 1602
源码：YOLOv5源码注释版全部项目文件已上传至GitHub:这个文件是yolov5做的一些关于激活函数改进的实验，且都是近年来比较火的也是效果比较好的一些激活函数。大家可以尽情的尝试放在自己的数据集或者模型上试试效果。""":params c1: 输入的channel值:params c2: 输出的channel值:params k: 卷积的kernel_size:params s: 卷积的stride。
yolov5 中LeakyReLU 激活函数与Silu激活函数的关系
05-03
在 YOLOv5 中，LeakyReLU 和 Silu 都是激活函数，它们都是用来处理神经网络中的非线性变换。它们的主要区别在于形状和计算方式。 具体来说，LeakyReLU 是一个具有斜率的修正线性单元，它可以通过在输入小于0的时候使用小的斜率来解决神经元死亡的问题。而 Silu 是一个新的激活函数，也称为 Swish 函数，它是一个光滑的非线性变换函数，类似于 Sigmoid 函数，但它的计算方式更加高效。 在 YOLOv5 中，LeakyReLU 和 Silu 经常被用于卷积层后面的非线性变换，可以帮助网络更好地学习特征。通常情况下，Silu 比 LeakyReLU 更加高效，但在某些情况下，LeakyReLU 可能会更好。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

路人贾'ω'

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值