YOLOv5改进系列(二) 本文(1.万字) | 解读各种激活函数 | 更换激活函数 | SiLU | ReLU | ELU | Hardswish | Mish | Softplus | 等 |

已于 2024-01-29 01:15:47 修改
阅读量1.1k 收藏 15
点赞数 24
文章标签： YOLO 人工智能 深度学习 激活函数 SiLU ReLU Mish
于 2023-12-29 11:54:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44302770/article/details/135275234
版权
人工智能专栏计划 专栏收录该内容
141 篇文章 7 订阅

已下架不支持订阅

点击进入专栏：
《人工智能专栏》 Python与Python | 机器学习 | 深度学习 | 目标检测 | YOLOv5及其改进 | YOLOv8及其改进 | 关键知识点 | 各种工具教程

代码函数调用关系图(全网最详尽-重要)

因文档特殊，不能在博客正确显示，请移步以下链接！

图解YOLOv5_v7.0代码结构与调用关系(点击进入可以放大缩小等操作)

预览：
在这里插入图片描述

文章目录

    • 一、激活函数的简介
      • 1.1 什么是激活函数？
      • 1.2 激活函数有什么用？
    • 二、一些常见的激活函数
      • 2.1 sigmoid函数
      • 2.2 tanh / 双曲正切激活函数
      • 2.3 ReLU激活函数
      • 2.4 SiLU
      • 2.5 swish激活函数
      • 2.6 hardswish激活函数
      • 2.7 Mish激活函数
      • 2.8 ELU激活函数
      • 2.9 AconC/MetaAconC激活函数
      • 2.10 Softplus激活函数
      • 2.11 Leaky ReLU、 PReLU
      • 2.12 代码复现
        • 复现一
        • 复现二
    • 三、更换激活函数的步骤
        • 第①步 打开activations.py文件，查看已有函数
        • 第②步 在common.py中更换激活函数
    • 四、如何选择合适的激活函数

一、激活函数的简介

1.1 什么是激活函数？

在接触到深度学习（Deep Learning）后，特别是神经网络中，我们会发现在每一层的神经网络输出后都会使用一个函数（比如sigmoid，tanh，Relu等

了解本专栏 已下架不支持订阅
小酒馆燃着灯
关注
  • 24
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录

已下架不支持订阅

[YOLOv7/YOLOv5系列算法改进NO.34]更换激活函数为FReLU等十余种激活函数
m0_70388905的博客
10-18 7992
YOLOv5、v7改进之三十四：更换激活函数为FReLU。关注即免费获取深度学习资料！
各种激活函数比较共10页.pdf.zip
10-30
本资料“各种激活函数比较共10页.pdf”聚焦于对比不同类型的激活函数，这对于理解和优化深度学习模型至关重要。 首先，我们来探讨最基础的激活函数——Sigmoid。Sigmoid函数将输入映射到(0,1)之间，产生平滑的连续...
Yolov5 激活函数
qq_35326529的博客
12-09 4358
activation.py文件
绘制yolov5自带的几种激活函数
孟孟单单的博客
12-01 1162
绘制yolov5自带的几种激活函数
YOLOv5改进系列(二) 更换激活函数SiLU，ReLU，ELU，Hardswish，Mish，Softplus，AconC等
weixin_44302770的博客
12-14 5957
1.1 什么是激活函数？在接触到深度学习（Deep Learning）后，特别是神经网络中，我们会发现在每一层的神经网络输出后都会使用一个函数（比如sigmoid，tanh，Relu等等）对结果进行运算，这个函数就是激活函数（Activation Function）。那么为什么需要添加激活函数呢？如果不添加又会产生什么问题呢？首先，我们知道神经网络模拟了人类神经元的工作机理，**激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。**
ReLU激活函数杂谈
01-06
在实现多层感知机代码实现中使用了ReLU激活函数： ReLU(x)=max(x,0)ReLU(x)=max(x,0)ReLU(x)=max(x,0) 形状大概是这样的 这里根据几个问题来进行回答解释 为什么要使用激活函数呢？ 简单来说激活函数的作用就是将...
Keras 中Leaky ReLU等高级激活函数的用法
09-16
本篇文章主要关注Keras中的一种高级激活函数——Leaky ReLU，以及如何在实践中应用它。 ReLU（Rectified Linear Unit）是最常用的激活函数之一，其公式为`f(x) = max(0, x)`。在正区间（x > 0）上，ReLU函数保持...
激活函数（ReLU、sigmoid、tanh）的简单理解
01-20
ReLU函数 ReLU（rectified linear unit）函数提供了⼀个很简单的⾮线性变换。给定元素 ，该函数定义为： 可以看出，ReLU函数只保留正数元素，并将负数元素清零。函数图像如下图： 显然，当输⼊为负数时，ReLU函数...
5. 为什么引入激活函数，为什么relu好于tanh和sigmoid1
08-03
1.为什么引入非线性激励函数 2.为什么引入relu 3.什么是好的激活函数 1.为什么引入非线性激励函数 2.为什么引入relu 3.什么是好的激活函数 1.
实战 | YOLOv8使用TensorRT加速推理教程（步骤 + 代码）
最新发布
Color Space的博客
07-09 58
这一步主要是安装根据自己的硬件安装GPU驱动，下载CUDNN等，以往的文章已经介绍过多次，可以点击下面的图片跳转到对应文章查看(点击图片跳转)。DeepSparse：专为稀疏模型设计的CPU推理运行时，可以有效加速基于WSL2的Windows环境下的推理。OpenVINO：Intel的推理工具套件，用于CPU上的模型优化和加速，支持量化和多种硬件加速。可以使用官网下载的模型也可以使用自己训练好的模型。保持框架最新：确保使用的深度学习框架版本是最新的，以获得最新的优化和bug修复。
绝缘子陶瓷绝缘子玻色绝缘子聚合物绝缘子检测数据集VOC+YOLO格式2050张3类别
FL1623863129的博客
07-06 129
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)标注类别名称:["glass insulator","polymer insulator","porcelain insulator"]特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。图片数量(jpg文件个数)：2050。标注数量(xml文件个数)：2050。标注数量(txt文件个数)：2050。
YOLO 应用
weixin_46807151的博客
07-04 180
YOLO（You Only Look Once）算法是一种高效的对象检测模型，自其发布以来，在多个领域中都得到了广泛的应用。总的来说，YOLO算法凭借其高效性和准确性，在多个领域中都有着广泛的应用前景。随着技术的不断发展，YOLO算法的性能和适用范围还将继续提升和扩展。
YOLOv8模型调参---数据增强
weixin_45303602的博客
07-04 770
离线增强是指在模型训练前在计算机上一次性完成所有数据增强操作，将原始数据集转化为包含多种增强版本的扩充数据集，并将增强后的样本保存到磁盘或内存中，然后使用这个固定的扩充数据集进行训练。
使用YOLO训练好自己的模型并持续训练【教程二】
donnycode编程栈
07-09 177
在使用已经训练好的 YOLOv5 模型继续训练时，如果减少了 yaml 文件中的 classes 分类数，这会对模型产生影响。具体影响取决于以下几个方面：类别数量减少：如果你在继续训练时减少了 classes 中的类别数量，模型将不会再检测那些已移除的类别。这意味着模型的权重将被重新调整以适应新的类别数量和类别标签。这会导致以下问题：权重调整：模型会重新分配权重，原有的类别可能会受到影响。检测准确性：减少类别数量可能导致检测准确性降低，尤其是在剩余类别与被移除类别有特征重叠的情况下。
主干网络篇 | YOLOv5/v7 更换主干网络之 ShuffleNetv2 | 高效CNN架构设计的实用指南（2）
weixin_39818775的博客
07-06 1327
YOLOv5和YOLOv7是目前主流的轻量级目标检测模型，在速度和精度方面取得了良好的平衡。然而，传统的YOLOv5/v7模型使用FPN和CSPNet等结构作为主干网络，在移动设备和嵌入式系统等资源受限的场景中运行时可能存在效率较低的问题。为了解决这个问题，本文提出了一种使用ShuffleNetv2作为主干网络的YOLOv5/v7模型，该模型在移动设备和嵌入式系统上具有更高的推理速度和更低的内存消耗。YOLOv5/v7模型更换ShuffleNetv2主干。
yolov5 json 和 txt数据格式关系
weixin_41021342的博客
07-06 101
关于yolov5 数据格式一直以来都傻傻分不清楚，这下进行了一个梳理，做了笔记，也希望可帮助到有需要的有缘人~
YOLOv5、v7、v8如何修改检测框文字颜色和大小
Yayisheng的博客
07-08 166
YOLOv5和YOLOv8默认的标签文字颜色为白色，但是在亮度较大的图片中文字不明显，就需要对标签文字的颜色进行修改。
yolov5 训练过程中的监控指标说明
qq_32636415的博客
07-05 712
训练迭代次数，表示模型已经进行了多少轮的训练。这是模型训练的基本计数单位，对于跟踪训练进度至关重要。: 训练过程中边界框（bounding box）预测的损失值。这反映了模型在定位对象方面的能力。: 训练过程中对象存在性（objectness）预测的损失值。这涉及模型判断图像中是否存在特定对象的能力。: 训练过程中类别（classification）预测的损失值。这关注于模型识别对象类别的准确性。: 精确度，表示预测为正的样本中真正为正的比例。高精度表示模型具有较少的假阳性预测。
YOLOv10涨点改进｜引入BoTNet、Ghost与CA注意力机制，打造高效轻量级检测器
“365天深度学习训练营”报名进行中～
07-07 63
👉 独家改进，对现有YOLOv10进行二次创新，提升检测精度，适合科研创新度十足，强烈推荐🌟 统一使用 YOLOv10 代码框架，💥 本博客包含大量的改进方式，降低改进难度,改进点包含【Neck特征融合】【Head检测头】【注意力机制】【IoU损失函数】【NMS】【Loss计算方式】【自注意力机制】【数据增强部分】【标签分配策略】【激活函数】等各个部分。🔥 专栏创新点教程均有不少同学反应和我说已经在自己的数据集上有效涨点啦！！
yolov5 中LeakyReLU 激活函数与Silu激活函数的关系
05-03
在 YOLOv5 中，LeakyReLU 和 Silu 都是激活函数，它们都是用来处理神经网络中的非线性变换。它们的主要区别在于形状和计算方式。 具体来说，LeakyReLU 是一个具有斜率的修正线性单元，它可以通过在输入小于0的时候...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小酒馆燃着灯

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值