YOLOv5改进系列（13）——更换激活函数之SiLU，ReLU，ELU，Hardswish，Mish，Softplus，AconC系列等

已于 2023-07-04 16:03:47 修改
阅读量4.8k 收藏 22
点赞数 6
分类专栏： YOLOv5入门＋实践＋改进 文章标签： YOLO 目标检测 计算机视觉 人工智能 深度学习
于 2023-07-04 16:02:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43334693/article/details/131513850
版权
本文深入探讨了激活函数在深度学习中的作用，特别是针对YOLOv5模型，包括sigmoid, tanh, ReLU, SiLU, swish, hardswish, Mish, ELU, AconC/MetaAconC和Softplus等的优缺点，以及更换激活函数的步骤。激活函数选择需考虑模型的表达能力和梯度消失问题，ReLU因其计算效率而广泛使用，而SiLU和Swish等新激活函数在某些场景下表现更优。" 6113963,91790,计算两条线段的交点算法,"['几何计算', '算法', '二维坐标系']
摘要由CSDN通过智能技术生成

962f7cb1b48f44e29d9beb1d499d0530.gif【YOLOv5改进系列】前期回顾：

YOLOv5改进系列（0）——重要性能指标与训练结果评价及分析

YOLOv5改进系列（1）——添加SE注意力机制

YOLOv5改进系列（2）——添加CBAM注意力机制

YOLOv5改进系列（3）——添加CA注意力机制

YOLOv5改进系列（4）——添加ECA注意力机制

YOLOv5改进系列（5）——替换主干网络之 MobileNetV3

YOLOv5改进系列（6）——替换主干网络之 ShuffleNetV2

YOLOv5改进系列（7）——添加SimAM注意力机制

YOLOv5改进系列（8）——添加SOCA注意力机制

YOLOv5改进系列（9）——替换主干网络之EfficientNetv2

​​​​​​YOLOv5改进系列（10）——替换主干网络之GhostNet

YOLOv5改进系列（11）——添加损失函数之EIoU、AlphaIoU、SIoU、WIoU

YOLOv5改进系列（12）——更换Neck之BiFPN

目录

🌲一、激活函数的简介

1.1 什么是激活函数？

1.2 激活函数有什么用？

🌲二、一些常见的激活函数

🌻2.1 sigmoid函数

🌻2.2 tanh / 双曲正切激活函数

🌻2.3 ReLU激活函数

🌻2.4 SiLU 

🌻2.5 swish激活函数

🌻2.6 hardswish激活函数

了解本专栏 订阅专栏 解锁全文 超级会员免费看
路人贾'ω'
关注
  • 6
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Keras 中Leaky ReLU等高级激活函数的用法
09-16
主要介绍了Keras 中Leaky ReLU等高级激活函数的用法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
yolov5 激活函数 SiLU 改为 ReLU
SZ170110231的博客
11-01 414
在这里插入图片描述。
【YOLOv7/YOLOv5系列算法改进NO.54】改进激活函数为ReLU、RReLU、Hardtanh、ReLU6、Sigmoid、Tanh、Mish、Hardswish、ELU、CELU等
m0_70388905的博客
01-23 5503
更多激活函数选择——数十种激活函数改进方法。
YOLOv5改进系列(二) 更换激活函数SiLU，ReLU，ELU，Hardswish，Mish，Softplus，AconC等
weixin_44302770的博客
12-14 6413
1.1 什么是激活函数？在接触到深度学习（Deep Learning）后，特别是神经网络中，我们会发现在每一层的神经网络输出后都会使用一个函数（比如sigmoid，tanh，Relu等等）对结果进行运算，这个函数就是激活函数（Activation Function）。那么为什么需要添加激活函数呢？如果不添加又会产生什么问题呢？首先，我们知道神经网络模拟了人类神经元的工作机理，**激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。**
更换YOLOv5激活函数
Barry_Qu的博客
04-27 7723
YOLOv5更换激活函数
YOLOv5 改进激活函数（小白笔记）
Cgyaobiye的博客
10-27 2427
YOLOv5激活函数更改
YOLOv5更换激活函数（FReLU+SE机制）
恐龙先生的博客
06-01 9706
本次我们在卷积层添加SE注意力模块来改进YOLOv5算法，同时用FReLU替换SILU激活函数，并通过添加跳转连接来改进PANet特征融合网络。
YOLOv8修改激活函数
weixin_45303602的博客
08-02 659
不过 ultralytics 并没有直接将开源库命名为 YOLOv8，而是直接使用 ultralytics 这个词，原因是 ultralytics 将这个库定位为算法框架，而非某一个特定算法，一个主要特点是可扩展性。按照官方描述，YOLOv8 是一个 SOTA 模型，它建立在以前 YOLO 版本的成功基础上，并引入了新的功能和改进，以进一步提升性能和灵活性。具体创新包括一个新的骨干网络、一个新的 Ancher-Free 检测头和一个新的损失函数，可以在从 CPU 到 GPU 的各种硬件平台上运行。
pytorch方法测试——激活函数(ReLU)详解
12-23
然而，在某些情况下，其他激活函数如Leaky ReLU、ELU或GELU等可能会提供更好的性能。 总的来说，了解并正确使用ReLU是理解和构建深度学习模型的关键。在PyTorch中，通过`nn.ReLU()`可以方便地集成到神经网络架构中...
《YOLOv5改进 - 添加CA注意力机制 + 增加预测层 + 更换损失函数之GIoU》完整代码
02-02
本项目针对YOLOv5进行了三个关键改进：添加了通道注意力（Channel Attention，简称CA）机制、增加了预测层，并更换了损失函数为GIoU（Generalized Intersection over Union）。下面将详细阐述这三个改进及其在目标...
ReLU激活函数杂谈
01-06
在实现多层感知机代码实现中使用了ReLU激活函数： ReLU(x)=max(x,0)ReLU(x)=max(x,0)ReLU(x)=max(x,0) 形状大概是这样的 这里根据几个问题来进行回答解释 为什么要使用激活函数呢？ 简单来说激活函数的作用就是将...
Yolov5更换激活函数
m0_56247038的博客
05-22 4882
yolov5中utils/activations.py文件中已经写好了好多种激活函数，直接调用即可 如果要调用需要去common.py文件里修改，改完记得导入一下 想更换其他激活函数可以参照下面代码 class Conv(nn.Module): # Standard convolution def __init__(self, c1, c2, k=1, s=1, p=None, g=1, act=True): # ch_in, ch_out, kernel, strid
YOLOv5的Tricks | 【Trick1】关于激活函数Activation的改进汇总
Clichong
06-01 7099
如有错误，恳请指出。在yolov5模型搭建的过程实现中，额外实现了很多非常新奇有趣的激活函数，不再是的简单nn.ReLU等，所以这里使用这篇笔记来对这一些列的激活函数进行总结归纳。关于激活函数，在很早之前我写过一篇笔记介绍，笔记链接：激活函数与Loss函数求导，在这里主要介绍的是目标检测yolov5算法中实现的一些的激活函数，主要设计ReLU函数及其变体，包含ReLU，PReLU，RReLU，FReLU，Swish，Mish，Acon系列，Dynamic ReLU系列。ReLU相比之前的 Sigmoid/t
目标检测算法——YOLOv5/YOLOv7改进之更换FReLU激活函数
加勒比海带66——【YOLO魔法搭配&论文投稿咨询】
10-27 1万+
目标检测算法——YOLOv5/YOLOv7更换FReLU激活函数。
YOLOv8改进 | 激活函数 | 十余种常见的激活函数一键替换【完整代码】
kay_545
08-02 844
yolov8改进，激活函数，yolov8
YOLOv5/v7 更换激活函数
热门推荐
YOLOv8项目贡献者
04-26 2万+
教你YOLOv5/v7更换激活函数
基于Yolov5的安全帽检测系统设计与开发(论文+源码)_kaic​
最新发布
weixin_52720882的博客
08-21 406
摘 要 安全帽检测系统的设计意义在于提高工作场所的安全性和生产效率，通过安全帽检测系统可以实时监控工人是否佩戴安全帽，及时发现不佩戴安全帽的工人并进行提醒和警示，避免因为不佩戴安全帽导致意外事故的发生。因此，本文是一个利用Yolov5算法开发的安全帽检测系统。本论文使用了先进的目标检测算法，可以在视频流中快速准确地识别出佩戴安全帽和未佩戴安全帽的人员，并且能够通过拍摄的照片和发出提示信息进行分析，从功能分析、性能分析、系统流程分析等几个方面来进行总体设计，实现了基于Yolov5的安全帽检测系统的开发，主要
yolov8 出现loss 为nan
zhaoluruoyan89的博客
08-21 304
这篇博客警示读者在购买用于深度学习的显卡时要避开那些导致RuntimeWarning: All-NaN slice encountered的问题。作者强调这些Tensor核心存在严重缺陷，不适宜进行深度学习任务，建议大家在选购时务必谨慎。方法二：将混合精度训练AMP 设置为False。方法一：降低cuda和pytorch 版本号。
YOLOv7-face人脸检测
CSPhD-winston的博客
08-17 161
【代码】YOLOv7-face人脸检测。
yolov5 中LeakyReLU 激活函数与Silu激活函数的关系
05-03
在 YOLOv5 中，LeakyReLU 和 Silu 都是激活函数，它们都是用来处理神经网络中的非线性变换。它们的主要区别在于形状和计算方式。 具体来说，LeakyReLU 是一个具有斜率的修正线性单元，它可以通过在输入小于0的时候使用小的斜率来解决神经元死亡的问题。而 Silu 是一个新的激活函数，也称为 Swish 函数，它是一个光滑的非线性变换函数，类似于 Sigmoid 函数，但它的计算方式更加高效。 在 YOLOv5 中，LeakyReLU 和 Silu 经常被用于卷积层后面的非线性变换，可以帮助网络更好地学习特征。通常情况下，Silu 比 LeakyReLU 更加高效，但在某些情况下，LeakyReLU 可能会更好。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

路人贾'ω'

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值