YOLOv5-4.0-activations.py 源代码导读（激活函数）

最新推荐文章于 2024-08-03 11:15:37 发布
最新推荐文章于 2024-08-03 11:15:37 发布
阅读量3.1k 收藏 28
点赞数 4
分类专栏： YOLOv5源代码导读 文章标签： python 深度学习 pytorch 神经网络 目标跟踪
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42716570/article/details/113059857
版权
本文深入解读YOLOv5目标检测算法4.0版本中使用的激活函数，包括Sigmoid、Swish、ReLU系列、Hard-swish以及Mish函数。通过介绍它们的数学表达式和导数，帮助理解这些函数在神经网络中的作用。此外，详细解析了源代码utils/activations.py中对应的实现类。
摘要由CSDN通过智能技术生成

YOLOv5介绍

YOLOv5为兼顾速度与性能的目标检测算法。笔者将在近期更新一系列YOLOv5的代码导读博客。YOLOv5为2021.1.5日发布的4.0版本。
YOLOv5开源项目github网址
源代码导读汇总网址
本博客导读的代码为utils文件夹下的activations.py最后更新日期为2021.1.7

激活函数-数学表达

首先介绍YOLOv5激活函数中涉及到的函数其具体形式:
Sigmoid激活函数：
S i g m o i d ( x ) = 1 1 + e − x = e x e x + 1 Sigmoid(x) = \frac{1}{1+e^{-x} } = \frac{e^{x}}{e^{x}+1 } Sigmoid(x)=1+e−x1​=ex+1ex​
Swish激活函数：
S w i s h ( x ) = x 1 + e − β x Swish(x) = \frac{x}{1+e^{-\beta x}} Swish(x)=1+e−βxx​
ReLU激活函数：
R e L U ( x ) = { x , if  x   >  0 0 , if  x   ≤  0 = m a x ( 0 , x ) ReLU(x)= \begin{cases} x, & \text {if $x$ $>$ 0} \\ 0, & \text{if $x$ $\leq$ 0} \end{cases} = max(0,x) ReLU(x)={ x,0,​if x > 0if x ≤ 0​=max(0,x)
ReLU6限制上述函数输出在6以内：
R e L U 6 ( x ) = m i n ( 6 , m a x ( 0 , x ) ) ReLU6(x) = min(6,max(0,x)) ReLU6(x)=min(6,max(0,x))
Hard-swish激活函数：
H a r d − s w i s h ( x ) = x ∗ R e L U 6 ( x + 3 ) 6 Hard-swish(x) = \frac{x \ast ReLU6(x+3)}{6 } Hard−swish(x)

最低0.47元/天 解锁文章
幻灵H_Ling
关注
专栏目录
YOLOv5(PyTorch)目标检测：原理与源码解析
12-07
【为什么要学习这门课】 Linux创始人Linus Torvalds有一句名言：Talk is cheap. Show me the code. 冗谈不够，放码过来！代码阅读是从基础到提高的必由之路。 YOLOv5是最近推出的轻量且高性能的实时目标检测方法。YOLOv5使用PyTorch实现，含有很多业界前沿和常用的技巧，可以作为很好的代码阅读案例，让我们深入探究其实现原理，其中不少知识点的代码可以作为相关项目的借鉴。 【课程内容与收获】 本课程将详细解析YOLOv5的实现原理和源码，对关键代码使用PyCharm的debug模式逐行分析解读。 本课程将提供注释后的YOLOv5的源码程序文件。   【相关课程】 本人推出了有关YOLOv5目标检测的系列课程。请持续关注该系列的其它视频课程，包括：《YOLOv5(PyTorch)目标检测实战：训练自己的数据集》Ubuntu系统 https://edu.csdn.net/course/detail/30793 Windows系统 https://edu.csdn.net/course/detail/30923 《YOLOv5(PyTorch)目标检测：原理与源码解析》https://edu.csdn.net/course/detail/31428 《YOLOv5(PyTorch)目标检测实战：Flask Web部署》https://edu.csdn.net/course/detail/31087 《YOLOv5(PyTorch)目标检测实战：TensorRT加速部署》https://edu.csdn.net/course/detail/32303
YOLOv5基础知识点——激活函数
qq_50645064的博客
08-04 7207
激活函数
Yolov5 激活函数
qq_35326529的博客
12-09 4554
activation.py文件
YOLOv5改进 | 激活函数 | 十余种常见的激活函数一键替换【完整代码】
最新发布
kay_545
08-03 1117
yolov5，激活函数，yolov5改进
YOLOv5改进系列(二) 更换激活函数SiLU，ReLU，ELU，Hardswish，Mish，Softplus，AconC等
weixin_44302770的博客
12-14 6742
1.1 什么是激活函数？在接触到深度学习（Deep Learning）后，特别是神经网络中，我们会发现在每一层的神经网络输出后都会使用一个函数（比如sigmoid，tanh，Relu等等）对结果进行运算，这个函数就是激活函数（Activation Function）。那么为什么需要添加激活函数呢？如果不添加又会产生什么问题呢？首先，我们知道神经网络模拟了人类神经元的工作机理，**激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。**
神经网络中的参数解读
热门推荐
yudiemiaomiao的博客
05-17 2万+
1.Batch_Size(批尺寸) 该参数主要用于批梯度下降算法(Batch Gradient Descent)中，批梯度下降算法是每次迭代都遍历批中的所有样本，由批中的样本共同决定最优的方向，Batch_Size 正是批中的样本数量。 若数据集比较小，可以采用全数据集(Full Batch Learning)的形式，由全数据确定的方向能更好地代表样本总体，从而更准确地朝向极值所在的方向；但该种
particular object retrieval with integral max-pooling of cnn activations.pdf
12-17
本文“特定对象检索与CNN激活的积分最大池化”提出了一个新的方法来改进这一情况。 该研究主要关注两个检索阶段：初始搜索和重排名，并利用相同的来自CNN的基本信息进行改进。首先，他们构建紧凑的特征向量来编码多...
yolov5-3.1.zip
05-06
6. **推理优化**：YOLOv5 3.1还关注模型的推理效率，使用了线性归一化（Linear Activations）和批归一化（Batch Normalization）来加速前向传播，同时，通过NMS（Non-Maximum Suppression）剔除重复检测结果，提高...
YOLOv5网络结构细节图.zip
05-04
YOLOv5引入了线性激活函数（Linear Activations, Leaky ReLU）和Sigmoid函数，以改进预测的准确性和稳定性。 5. **数据增强**：YOLOv5利用各种数据增强技术，如随机裁剪、翻转、颜色扰动等，以增加模型对不同输入的...
s7310-8-bit-inference-with-tensorrt.pdf
11-08
● Goal: Convert FP32 CNNs into ...weights to INT8 and during INT8 computation of activations. ● Result: Method was implemented in TensorRT. It does not require any additional fine tuning or retraining.
基于YOLOV5的车牌定位和识别源码
03-30
YOLO（You Only Look Once）是一种著名的实时目标检测系统，其第五代版本——YOLOv5，是由Joseph Redmon和Ali Farhadi等人在前几代的基础上进一步优化的。YOLOv5以其高效的运行速度、高精度的检测性能以及易于训练和...
常见激活函数
mddCSDN的博客
09-23 3218
与 ReLU（以及其他常用的激活单元，如 sigmoid 和 tanh 单元）不同，SiLU 的激活不是单调递增的。FReLU: FReLU的形式为 y = m a x ( x , T ( x ) ) y = max(x, T(x))y=max(x,T(x)) ，其中 T ( ⋅ ) T(·)T(⋅) 为二维空间条件。神经网络中的激活函数用来提升网络的非线性（只有非线性的激活函数才允许网络计算非平凡问题），以增强网络的表征能力。SiLU（Swish 激活函数）：f(x)=x*sigmoid(x)
Yolov5更换激活函数
m0_56247038的博客
05-22 4935
yolov5中utils/activations.py文件中已经写好了好多种激活函数，直接调用即可 如果要调用需要去common.py文件里修改，改完记得导入一下 想更换其他激活函数可以参照下面代码 class Conv(nn.Module): # Standard convolution def __init__(self, c1, c2, k=1, s=1, p=None, g=1, act=True): # ch_in, ch_out, kernel, strid
YOLOv5 网络组件与激活函数
weixin_42036268的博客
04-25 2391
目录 【1】python 把if 写在一行的两种方式 【2】Python isinstance() 函数 【3】python - 理解python嵌套一行for循环 【4】python 单斜杠/和双斜杆//的区别 【5】in的详解 【6】group convolution (分组卷积) 【7】SILU 激活函数（swish） 【8】DWConv（Depthwise Conv）深度卷积 【9】layer-normlization 【10】Transformer各层网络结构详解 【...
YOLOv5基础知识入门（6）— 激活函数（Mish、Sigmoid、Tanh、ReLU、Softmax、SiLU等）
突然好想你
08-15 1798
YOLOv5训练过程中使用了激活函数，可以改善模型的训练速度和准确性，本节课就给大家介绍一下激活函数的概念以及常见的激活函数！
YOLOv8改进 | 激活函数 | 十余种常见的激活函数一键替换【完整代码】
kay_545
08-02 1118
yolov8改进，激活函数，yolov8
Yolo v5实现细节
xiaoxu的博客
06-25 774
在Neck部分另外一个不同点就是New CSP-PAN了，在YOLOv4中，Neck的PAN结构是没有引入CSP结构的，但在YOLOv5中作者在PAN结构中加入了CSP。详情见上面的网络结构图，每个C3模块里都含有CSP结构。
YOLO系列创新点集合
weixin_45303602的博客
02-04 2148
ReLU激活函数在很长一段时间都是最佳的神经网络激活函数，主要是由于其非饱和、稀疏性等优秀的特性，但是它也同样会产生神经元坏死的严重后果。而近年来人们使用NAS搜索技术找到的Swish激活函数效果非常好，但是问题是Swish激活函数是使用NAS技术暴力搜索出来的，我们无法真正解释Swish激活函数效果这么好的真正原因是什么？
【YOLO v4 相关理论】Activations: 常见的非线性激活函数
qq_38253797的博客
05-11 1568
目录一、sigmoid二、tanhtanhtanh双曲正切三、ReLU四、Leakly ReLU五、ELU(指数线性函数) 一、sigmoid 函数表达式：f(z)=11+e−zf(z)=\frac{1}{1+e^{-z}}f(z)=1+e−z1​ 函数图像及其导数图像： 优点： 是一个便于求导的平滑函数； 能压缩数据，使输出保证在[0,1][0,1][0,1]之间（相当于对输出做了归一化），保证数据幅度不会有问题；(有上下界) 适合用于前向传播，但是不利于反向传播。 缺点： 容易出现梯度消失(
activations.py代码
04-29
以下是一个简单的 activations.py 代码示例，其中包含了几个常见的激活函数（ReLU、sigmoid、tanh）的实现： ``` import numpy as np def relu(Z): """ ReLU 激活函数 """ return np.maximum(0, Z) def sigmoid(Z): """ sigmoid 激活函数 """ return 1 / (1 + np.exp(-Z)) def tanh(Z): """ tanh 激活函数 """ return np.tanh(Z) ``` 在这个示例中，我们使用 numpy 库实现了这些激活函数。在实际使用中，我们可以将这个文件导入到我们的神经网络实现中，并在定义层时指定激活函数。例如，如果我们想在某一层使用 ReLU 激活函数，我们可以这样写： ``` class DenseLayer: def __init__(self, input_size, output_size, activation='relu'): self.weights = ... self.bias = ... if activation == 'relu': self.activation_function = relu elif activation == 'sigmoid': self.activation_function = sigmoid elif activation == 'tanh': self.activation_function = tanh else: raise ValueError("Invalid activation function: {}".format(activation)) ... ``` 这样，我们就可以在定义每一层时选择不同的激活函数了。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值