更换YOLOv5激活函数

本文介绍如何在YOLOv5的models/common.py中将默认的SiLU激活函数替换为MetaAconC,以期提升模型性能。通过实例代码展示修改过程,并分享了作者对不同激活函数的实验结果供读者参考和交流。
摘要由CSDN通过智能技术生成

YOLOv5代码库中激活函数有很多,目前v6.1作者使用的是SiLU ,因为目前本人在水硕,导师要求发一篇核心,就想在YOLOv5上改改,试一试能不能增加性能,但是搜了一下发现好像这类博客比较少,所以打算自己写一下,也为了自己今后查的时候方便一些。

主要更改点在 models/common.py中

先导入自己想更换的激活函数(我这里以MetaAconC为例,也就是说我想把SiLU更换为MetaAconC激活函数)

第二步:如图所示,更换SiLU即可。

要是你想更换其他激活函数我这里把实例贴出来,选择你自己的想更换的激活函数,照着下面代码的改就可以了

# self.act = nn.Identity() if act is True else (act if isinstance(act, nn.Module) else nn.Identity()) 
        # self.act = nn.Tanh() if act is True else (act if isinstance(act, nn.Module) else nn.Identity()) 
        # self.act = nn.Sigmoid() if act is True else (act if isinstance(act, nn.Module) else nn.Identity()) 
        # self.act = nn.ReLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity()) 
        # self.act = nn.LeakyReLU(0.1) if act is True else (act if isinstance(act, nn.Module) else nn.Identity()) 
        # self.act = nn.Hardswish() if act is True else (act if isinstance(act, nn.Module) else nn.Identity()) 
        # self.act = nn.SiLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity()) 
        # self.act = Mish() if act is True else (act if isinstance(act, nn.Module) else nn.Identity()) 
        # self.act = FReLU(c2) if act is True else (act if isinstance(act, nn.Module) else nn.Identity()) 
        # self.act = AconC(c2) if act is True else (act if isinstance(act, nn.Module) else nn.Identity()) 
        # self.act = MetaAconC(c2) if act is True else (act if isinstance(act, nn.Module) else nn.Identity()) 
        # self.act = SiLU_beta(c2) if act is True else (act if isinstance(act, nn.Module) else nn.Identity()) 
        # self.act = FReLU_noBN_biasFalse(c2) if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = FReLU_noBN_biasTrue(c2) if act is True else (act if isinstance(act, nn.Module) else nn.Identity()) 

 上面是原作者进行的各种激活函数的实验,供大家参考

欢迎大家交流

参考来自:https://github.com/ultralytics/yolov5/issues/3013

  • 18
    点赞
  • 170
    收藏
    觉得还不错? 一键收藏
  • 39
    评论
对于问题中提到的Dropout激活函数,我没有找到相关的引用内容。然而,Dropout并不是一种激活函数,而是一种正则化技术。正则化是为了防止神经网络在训练数据上出现过拟合的现象。Dropout的原理是在训练过程中随机删除一些神经元的连接,从而减少网络的复杂性,强制网络去学习更加鲁棒和泛化性能更好的特征。Dropout可以通过随机设置某些神经元的输出为0来实现,这样可以有效地减少神经元之间的依赖关系,提高网络的泛化能力。 虽然Dropout并不是激活函数,但在实际应用中,它通常与激活函数一起使用。常见的激活函数有sigmoid、ReLU等等。Sigmoid函数将输入的值映射到0到1之间,主要用于二分类问题或者需要输出概率的情况。ReLU函数在输入大于0时返回输入值本身,小于等于0时返回0,它在实际中的使用更加广泛,可以有效地解决梯度消失问题,并且计算速度快。 不同的激活函数有不同的优缺点。例如,Sigmoid函数在输入值较大或较小时会出现梯度消失的问题,导致训练效果不佳。ReLU函数在输入小于0时会失活,可能导致神经元死亡。因此,在选择激活函数时,需要根据具体的问题和网络结构来进行权衡和选择。 总结来说,Dropout并不是一种激活函数,而是一种正则化技术。常见的激活函数有sigmoid和ReLU等,它们在不同的情况下具有不同的优缺点。在选择激活函数时,需要综合考虑网络结构和问题的特性。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [神经网络之激活函数 dropout原理解读 BatchNormalization 代码实现](https://blog.csdn.net/u014696921/article/details/53749831)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论 39
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值