【YOLOv7/YOLOv5系列算法改进NO.47】改进激活函数为GELU

最新推荐文章于 2024-03-26 18:05:52 发布

人工智能算法研究院

最新推荐文章于 2024-03-26 18:05:52 发布

阅读量7.1k

点赞数 8

分类专栏： YOLO算法改进系列文章标签：深度学习人工智能

本文链接：https://blog.csdn.net/m0_70388905/article/details/128170907

版权

YOLO算法改进系列专栏收录该内容

138 篇文章 1375 订阅

订阅专栏

文章目录

前言
一、解决问题
二、基本原理
三、添加方法
四、总结

前言

作为当前先进的深度学习目标检测算法YOLOv7，已经集合了大量的trick，但是还是有提高和改进的空间，针对具体应用场景下的检测难点，可以不同的改进方法。此后的系列文章，将重点对YOLOv7的如何改进进行详细的介绍，目的是为了给那些搞科研的同学需要创新点或者搞工程项目的朋友需要达到更好的效果提供自己的微薄帮助和参考。由于出到YOLOv7，YOLOv5算法2020年至今已经涌现出大量改进论文，这个不论对于搞科研的同学或者已经工作的朋友来说，研究的价值和新颖度都不太够了，为与时俱进，以后改进算法以YOLOv7为基础，此前YOLOv5改进方法在YOLOv7同样适用，所以继续YOLOv5系列改进的序号。另外改进方法在YOLOv5等其他算法同样可以适用进行改进。希望能够对大家有帮助。
具体改进办法请关注后私信留言！关注免费领取深度学习算法学习资料！

一、解决问题

之前改进从改进的部位来分的话从输入端、主干特征提取网络（backbone）、特征融合网络（neck）、检测头等四个方面进行改进，从改进的方法包括添加注意力机制、损失函数改进、改变网络结构、替换主干特征提取网络、改进非极大值抑制、k-means++聚类算法等方面进行改进，本文尝试通过改进更为专用于视觉任务的激活函数来网络进行改进。原激活函数为SiLU激活函数，改进激活函数来提高检测效果。此前💡🎈☁️34. 更换激活函数为FReLU💡🎈☁️46. 改进激活函数为ACON有一定效果。本次改进为GELU。

二、基本原理

原文链接
早期的人工神经元使用二进制阈值单位（Hopfield，1982；McCulloch&Pitts，1943）。这些艰难的二元决策通过乙状激活来平滑，使神经元能够进行“枞树率”解释，并通过反向传播进行训练。但随着网络的深入，使用s形激活的训练被证明不如非平滑、概率较小的ReLU（Nair&Hinton，2010）有效，后者根据输入的符号做出艰难的门控决策。尽管ReLU的统计动机较少，但它仍然是一种具有竞争性的工程解决方案，通常比s形激活更快、更好地实现收敛。在ReLU成功的基础上，最近的一种称为ELU的修改（Clevert等人，2016）允许ReLU类非线性输出负值，有时会提高训练速度。总之，激活选择仍然是神经网络的必要架构决策，以免网络成为深度线性分类器。深度非线性分类器可以很好地拟合其数据，以至于网络设计者经常面临选择包括随机正则化器，如向隐藏层添加噪声或应用丢弃（Sri-vastava等人，2014），而这一选择与激活函数分离。一些随机正则化器可以使网络表现得像一个网络集合，一个伪集合（Bach-man等人，2014），并可以导致显著的准确性提高。例如，随机正则化器丢弃通过零乘法随机改变一些激活决策来创建伪系综。因此，非线性和脱落共同决定了神经元的输出，但这两个创新仍然是不同的。更重要的是，两者都不包含另一个，因为流行的随机正则化器的行为与输入无关，而非线性是由这种正则化器辅助的。在这项工作中，我们引入了一种新的非线性，高斯误差线性单元（GELU）。它与随机正则化相关，因为它是对自适应丢弃的修改的预期（Ba&Frey，2013）。这表明神经元的输出具有更高的概率性。我们发现，这种新颖的非线性与ReLU或ELU在计算机视觉、自然语言处理和自动语音识别等任务中的模型相匹配或超过。
在这里插入图片描述

三、添加方法

第一步：损失函数定义到YOLOv7或者YOLOv5的utils/activations.py中。

class GELU(nn.Module):
    def __init__(self):
        super(GELU, self).__init__()

    def forward(self, x):
        return 0.5 * x * (1 + torch.tanh(np.sqrt(2 / np.pi) * (x + 0.044715 * torch.pow(x, 3))))

第二步：common.py构建模块。重构Conv模块。

#GELU  公众号：人工智能AI算法工程师   微信：Worker123654 
from utils.activations import GELU
class Conv(nn.Module):
    # Standard convolution
    def __init__(self, c1, c2, k=1, s=1, p=None, g=1, act=True):  # ch_in, ch_out, kernel, stride, padding, groups
        super(Conv, self).__init__()
        #.conv = nn.Conv2d(c1, c2, k, s, autopad(k, p),dilation=1, groups=g, bias=False)#空洞卷积
        self.conv = nn.Conv2d(c1, c2, k, s, autopad(k, p), groups=g, bias=False)
        self.bn = nn.BatchNorm2d(c2)
        self.act = GELU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())

    def forward(self, x):
        return self.act(self.bn(self.conv(x)))

    def forward_fuse(self, x):
        return self.act(self.conv(x))