YOLOv5的Tricks | 【Trick1】关于激活函数Activation的改进汇总

最新推荐文章于 2024-05-27 13:58:30 发布
最新推荐文章于 2024-05-27 13:58:30 发布
阅读量6.9k 收藏 155
点赞数 8
分类专栏： # 目标检测YOLOv5技巧汇总 文章标签： 深度学习 pytorch 目标检测 yolov5 激活函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44751294/article/details/125085657
版权

如有错误，恳请指出。

文章目录

在yolov5模型搭建的过程实现中，额外实现了很多非常新奇有趣的激活函数，不再是的简单nn.ReLU等，所以这里使用这篇笔记来对这一些列的激活函数进行总结归纳。

关于激活函数，在很早之前我写过一篇笔记介绍，笔记链接：激活函数与Loss函数求导，在这里主要介绍的是目标检测yolov5算法中实现的一些的激活函数，主要设计ReLU函数及其变体，包含ReLU，PReLU，RReLU，FReLU，Swish，Mish，Acon系列，Dynamic ReLU系列。

1

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Clichong
关注
  • 8
    点赞
  • 踩
  • 155
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
订阅专栏
更换YOLOv5激活函数
Barry_Qu的博客
04-27 7210
YOLOv5更换激活函数
YOLOv5 改进激活函数（小白笔记）
Cgyaobiye的博客
10-27 2362
YOLOv5激活函数更改
Yolov5 激活函数
qq_35326529的博客
12-09 4245
activation.py文件
【YOLOv7/YOLOv5系列算法改进NO.47】改进激活函数为GELU
m0_70388905的博客
11-17 7100
【YOLO系列改进NO.47】改进激活函数为GELU
YOLOv5基础知识点——激活函数
qq_50645064的博客
08-04 6845
激活函数
Yolov3_tricks
03-08
YOLOV3的pytorch版本中嵌入了许多技巧 在Darknet上添加我的新模块很麻烦，然后我在Pytorch上实现了带有许多技巧的完整版yolov3 详尽的中文注释！ 表现 地图 车 人 自行车 官方基准 74.3％ 85.6％ 79.4％ 58.0％ ...
html-tips-tricks:我最喜欢HTML5技巧和窍门
03-18
html-tips-tricks HTML5并不是新事物。自初始版本（2014年10月）以来，我们一直在使用它的多个功能。作为#100DaysOfCode计划的一部分，我花了一些时间再次访问功能列表。看到我发现了什么？我还没有真正使用过它！在...
Cero:蜘蛛网站html5tricks
04-30
用法类/src/main/java/cn/saymagic/spider/html5trick/Constants.java配置常量只需运行： /Html5trickSpider/src/main/java/cn/saymagic/spider/html5trick/Starter.java 您将从html5tricks下载所有演示：
SSRF Tricks小结1
08-03
file_get_contents() 造成的 SSRF：fsockopen() 造成的 SSRF：在 PHP 中能够进 SSRF 攻击利的协议：http/ht
matlabsin函数源码-Tricks4MATLAB:收集的技巧
05-19
sin函数源码 MATLAB Notes by WENQI 该笔记记录本人在科研过程中所学到的MATLAB实用操作，为方便查阅总结如下，代码都经过本人验证实用，由于来源广泛，未能列全参考文献。 与系统交互 直接使用bat命令 system(&...
YOLOv5 激活函数(四)
@bangbang的博客
08-23 5002
1. 激活函数(Activation functions) 激活函数使神经网络具有非线性，它决定感知机是否激发。 激活函数的这种非线性赋予了深度网络学习复杂函数的能力 2. 各类激活函数 Swish 函数 f(x)=x.sigmoid(x)f(x)=x.sigmoid(x)f(x)=x.sigmoid(x) Mish 函数 f(x)=x.tanh(softplus(x))=x.tanh(in(1+ex))f(x)=x.tanh(softplus(x))=x.tanh(in(1+e^{x}))f
YOLOv5改进系列(二) 更换激活函数SiLU，ReLU，ELU，Hardswish，Mish，Softplus，AconC等
weixin_44302770的博客
12-14 5256
1.1 什么是激活函数？在接触到深度学习（Deep Learning）后，特别是神经网络中，我们会发现在每一层的神经网络输出后都会使用一个函数（比如sigmoid，tanh，Relu等等）对结果进行运算，这个函数就是激活函数（Activation Function）。那么为什么需要添加激活函数呢？如果不添加又会产生什么问题呢？首先，我们知道神经网络模拟了人类神经元的工作机理，**激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。**
YOLOv5的Tricks | 【Trick5】遗传算法实现超参数进化（Hyperparameter Evolution）
Clichong
06-07 6570
如有错误，恳请指出。Hyperparameter evolution超参数演化是一种使用遗传算法（GA）进行优化的超参数优化方法。ML 中的超参数控制训练的各个方面，为它们找到最佳值可能是一个挑战。由于 1) 高维搜索空间 2) 维度之间的未知相关性，以及 3) 评估每个点的适应度的昂贵性质，网格搜索等传统方法很快就会变得难以处理，这使得 GA 成为超参数搜索的合适候选者。以上是官方文档的介绍：Hyperparameter Evolution，其实简单的来说，就是使用遗传算法来对超参数已经交叉变异以获得更好
YOLOv5/v7 更换激活函数
热门推荐
YOLOv8项目贡献者
04-26 2万+
教你YOLOv5/v7更换激活函数
【YOLOv7/YOLOv5系列算法改进NO.54】改进激活函数为ReLU、RReLU、Hardtanh、ReLU6、Sigmoid、Tanh、Mish、Hardswish、ELU、CELU等
m0_70388905的博客
01-23 5139
更多激活函数选择——数十种激活函数改进方法。
YOLOv5算法改进（18）— 手把手教你去更换激活函数（SiLU/ReLU/ELU/Hardswish/Mish/Softplus）
突然好想你
09-18 1387
在YOLOv5中，使用了不同的激活函数。本节课就简单介绍一下常见的激活函数并重点讲解如何去更换激活函数！
YOLOv5改进系列（13）——更换激活函数之SiLU，ReLU，ELU，Hardswish，Mish，Softplus，AconC系列等
路人贾的博客
07-04 4329
手把手教你学会YOLOv5改进系列之如何更换激活函数，内含SiLU，ReLU，ELU，Hardswish，Mish，Softplus，AconC系列等详细讲解及改进方法！
深度学习中的激活函数及优化
jiachun199的博客
08-19 861
激活函数： 神经网络神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。 为什么要使用激活函数？ 神经网络中激活函数的主要作用是提供网络的非线性建模能力，如不特别说明，激活函数一般而言是非线性函数。假设一个示例神经网络中仅包含线性卷积和全连接运算，那么该网络仅能够表达线性映射，即便增加网络的深度也依旧还是线性映射，难以有效建模实际环境中非线性分布的数据。加入（非线性）激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。
[数据集][目标检测]伤口检测数据集VOC+YOLO格式2760张1类别
最新发布
FL1623863129的博客
05-27 369
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。重要说明：大部分是脚本伤口，也有一小部分是其他部分伤口。图片数量(jpg文件个数)：2760。标注数量(xml文件个数)：2760。标注数量(txt文件个数)：2760。使用标注工具：labelImg。标注规则：对类别进行画矩形框。
yolov5改进激活函数
09-08
- *1* *2* *3* [YOLOv5的Tricks | 【Trick1】关于激活函数Activation的改进汇总](https://blog.csdn.net/weixin_44751294/article/details/125085657)[target="_blank" data-report-click={"spm":"1018.2226.3001....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Clichong

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值