【YOLOv5/v7改进系列】替换激活函数为SiLU、ReLU、LeakyReLU、FReLU、PReLU、Hardswish、Mish、ELU等

已于 2024-06-09 21:04:07 修改
阅读量2.2k 收藏 27
点赞数 34
分类专栏： YOLO改进指南 文章标签： YOLO 人工智能 目标检测 计算机视觉
于 2024-05-24 21:16:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84870184/article/details/139184177
版权
一、导言

激活函数在目标检测中的作用至关重要，它们主要服务于以下几个关键目的：

  1. 引入非线性：神经网络的基本构建块（如卷积层、全连接层等）本质上是线性变换，而激活函数通过引入非线性，使得网络能够学习和表达更复杂、更丰富的数据特征。这对于目标检测任务尤为重要，因为目标可能出现在图像中的任何位置、大小和姿态，且彼此之间可能有重叠或遮挡，非线性表达能力可以帮助模型更好地理解和区分这些复杂的场景。

  2. 控制梯度流：激活函数的形状影响着反向传播过程中的梯度传递，这对于权重更新和学习过程至关重要。例如，ReLU及其变体（如Leaky ReLU、PReLU、FReLU等）通过在负值区域保持非零斜率，解决了传统ReLU可能导致的“神经元死亡”问题，从而促进了深层网络中的梯度流动。

  3. 增强模型表达能力：特定的激活函数能够提升模型在特定任务上的表现。例如，FReLU（Funnel Activation Function）通过在激活阶段整合空间信息，提高了模型的空间理解能力，这对于目标检测这种需要精确定位的任务非常有利。

  4. 影响计算效率：不同的激活函数具有不同的计算复杂度。在实时目标检测系统如YOLO系列中，选择计算成本低且效果好的激活函数（如ReLU）对于保证模型的运行速度和资源效率是必要的。

  5. 输出范围调整：某些激活函数（如Sigmoid和Softmax）能够将输出限制在特定范围内，这在输出层特别有用，比如将网络输出转化为概率值，便于进行目标类别预测。

综上所述，激活函数不仅决定了神经网络的学习能力，还在很大程度上影响了目标检测模型的精度、训练效率以及最终的检测性能。因此，在设计目标检测网络时，精心选择和设计激活函数是一个重要环节。

二、YOLO训练中常见且有效的激活函数

  1. SiLU (Sigmoid Linear Unit): 也称为Swish，是一种自适应激活函数。SiLU尝试结合了线性变换和sigmoid函数的优点，能够提升模型的非线性表达能力，同时缓解梯度消失问题。

  2. ReLU (Rectified Linear Unit): 是最常用的激活函数之一，当输入为正时，输出等于输入；为负时，输出为0。ReLU解决了sigmoid和tanh函数的梯度饱和问题，加速了神经网络的训练，但在负值区域梯度为0，可能导致“死亡ReLU”现象。

  3. Leaky ReLU: 为了解决ReLU在负值区域梯度消失的问题而提出，即使负输入时函数也有非零斜率，帮助梯度流动。

  4. FReLU (Fractional ReLU): 是ReLU的一个变种，它引入了一个可学习的参数来调整负输入部分的斜率，提供了比Leaky ReLU更灵活的调整能力。

  5. PReLU (Parametric ReLU): 类似于Leaky ReLU，适用于不同层可能需要不同负斜率的情况。

  6. Hardswish: 是MobileNetV3中引入的一种激活函数，试图模仿Swish但计算成本更低。它在移动端设备上表现高效且性能良好。

  7. Mish: 由D. Misra提出，Mish结合了自我门控的性质和ReLU的简单性，被发现能在多种任务上提高模型性能。

  8. ELU (Exponential Linear Unit): 目的是减少ReLU的偏差移位问题并加速学习过程。

  9. CELU (Continuously Differentiable Exponential Linear Unit): 是ELU的一个连续可微分版本，旨在保持ELU的优点同时确保所有点的导数存在，适合需要严格平滑性的应用。

  10. GELU (Gaussian Error Linear Unit): 形式较为复杂，与高斯分布的累积分布函数有关。GELU在Transformer等模型中表现优秀，因为它能更好地匹配神经网络中权重初始化的分布。

  11. SELU (Scaled Exponential Linear Unit): 设计用于自归一化神经网络，SELU旨在确保网络的输出具有零均值和单位方差，从而简化训练过程中的归一化需求。

需要注意的是，YOLOv7、YOLOv5项目采用的默认激活函数为SiLU，而YOLOv7-tiny项目采用的激活函数为LeakyReLU，ResNet系列采用的激活函数则为ReLU，选择何种激活函数为自己的Baseline需要先查阅相关论文再下判断，以此为改进的对照方可得出结果。

同时，YOLOv5/v7的激活函数一般在models/activations.py下

三、YOLOv7-tiny改进工作

了解二后，在YOLOv7项目文件下的models文件夹下的common.py，采用ctrl+F搜索如下代码。

self.act = nn.SiLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())

将该一行替换为如下所示的激活函数即可。

        self.act = nn.SiLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.ReLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.LeakyReLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.Hardswish() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.Mish() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.ELU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.GELU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.SELU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.RReLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.PReLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())

接下来，打开yolov7-tiny.yaml，修改为你需要的激活函数，如此处为SiLU

# parameters
nc: 80  # number of classes
depth_multiple: 1.0  # model depth multiple
width_multiple: 1.0  # layer channel multiple

# anchors
anchors:
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32

# yolov7-tiny backbone
backbone:
  # [from, number, module, args] c2, k=1, s=1, p=None, g=1, act=True
  [[-1, 1, Conv, [32, 3, 2, None, 1, nn.SiLU()]],  # 0-P1/2  
  
   [-1, 1, Conv, [64, 3, 2, None, 1, nn.SiLU()]],  # 1-P2/4    
   
   [-1, 1, Conv, [32, 1, 1, None, 1, nn.SiLU()]],
   [-2, 1, Conv, [32, 1, 1, None, 1, nn.SiLU()]],
   [-1, 1, Conv, [32, 3, 1, None, 1, nn.SiLU()]],
   [-1, 1, Conv, [32, 3, 1, None, 1, nn.SiLU()]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [64, 1, 1, None, 1, nn.SiLU()]],  # 7
   
   [-1, 1, MP, []],  # 8-P3/8
   [-1, 1, Conv, [64, 1, 1, None, 1, nn.SiLU()]],
   [-2, 1, Conv, [64, 1, 1, None, 1, nn.SiLU()]],
   [-1, 1, Conv, [64, 3, 1, None, 1, nn.SiLU()]],
   [-1, 1, Conv, [64, 3, 1, None, 1, nn.SiLU()]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [128, 1, 1, None, 1, nn.SiLU()]],  # 14
   
   [-1, 1, MP, []],  # 15-P4/16
   [-1, 1, Conv, [128, 1, 1, None, 1, nn.SiLU()]],
   [-2, 1, Conv, [128, 1, 1, None, 1, nn.SiLU()]],
   [-1, 1, Conv, [128, 3, 1, None, 1, nn.SiLU()]],
   [-1, 1, Conv, [128, 3, 1, None, 1, nn.SiLU()]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [256, 1, 1, None, 1, nn.SiLU()]],  # 21
   
   [-1, 1, MP, []],  # 22-P5/32
   [-1, 1, Conv, [256, 1, 1, None, 1, nn.SiLU()]],
   [-2, 1, Conv, [256, 1, 1, None, 1, nn.SiLU()]],
   [-1, 1, Conv, [256, 3, 1, None, 1, nn.SiLU()]],
   [-1, 1, Conv, [256, 3, 1, None, 1, nn.SiLU()]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [512, 1, 1, None, 1, nn.SiLU()]],  # 28
  ]

# yolov7-tiny head
head:
  [[-1, 1, SPPF, [256]], # 29
  
   [-1, 1, Conv, [128, 1, 1, None, 1, nn.SiLU()]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [21, 1, Conv, [128, 1, 1, None, 1, nn.SiLU()]], # route backbone P4
   [[-1, -2], 1, Concat, [1]],
   
   [-1, 1, Conv, [64, 1, 1, None, 1, nn.SiLU()]],
   [-2, 1, Conv, [64, 1, 1, None, 1, nn.SiLU()]],
   [-1, 1, Conv, [64, 3, 1, None, 1, nn.SiLU()]],
   [-1, 1, Conv, [64, 3, 1, None, 1, nn.SiLU()]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [128, 1, 1, None, 1, nn.SiLU()]],  # 39
  
   [-1, 1, Conv, [64, 1, 1, None, 1, nn.SiLU()]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [14, 1, Conv, [64, 1, 1, None, 1, nn.SiLU()]], # route backbone P3
   [[-1, -2], 1, Concat, [1]],
   
   [-1, 1, Conv, [32, 1, 1, None, 1, nn.SiLU()]],
   [-2, 1, Conv, [32, 1, 1, None, 1, nn.SiLU()]],
   [-1, 1, Conv, [32, 3, 1, None, 1, nn.SiLU()]],
   [-1, 1, Conv, [32, 3, 1, None, 1, nn.SiLU()]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [64, 1, 1, None, 1, nn.SiLU()]],  # 49
   
   [-1, 1, Conv, [128, 3, 2, None, 1, nn.SiLU()]],
   [[-1, 39], 1, Concat, [1]],
   
   [-1, 1, Conv, [64, 1, 1, None, 1, nn.SiLU()]],
   [-2, 1, Conv, [64, 1, 1, None, 1, nn.SiLU()]],
   [-1, 1, Conv, [64, 3, 1, None, 1, nn.SiLU()]],
   [-1, 1, Conv, [64, 3, 1, None, 1, nn.SiLU()]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [128, 1, 1, None, 1, nn.SiLU()]],  # 57
   
   [-1, 1, Conv, [256, 3, 2, None, 1, nn.SiLU()]],
   [[-1, 29], 1, Concat, [1]],
   
   [-1, 1, Conv, [128, 1, 1, None, 1, nn.SiLU()]],
   [-2, 1, Conv, [128, 1, 1, None, 1, nn.SiLU()]],
   [-1, 1, Conv, [128, 3, 1, None, 1, nn.SiLU()]],
   [-1, 1, Conv, [128, 3, 1, None, 1, nn.SiLU()]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [256, 1, 1, None, 1, nn.SiLU()]],  # 65
      
   [49, 1, Conv, [128, 3, 1, None, 1, nn.SiLU()]],
   [57, 1, Conv, [256, 3, 1, None, 1, nn.SiLU()]],
   [65, 1, Conv, [512, 3, 1, None, 1, nn.SiLU()]],

   [[66, 67, 68], 1, IDetect, [nc, anchors]],   # Detect(P3, P4, P5)
  ]

若为LeakyReLU，则改为：

# parameters
nc: 80  # number of classes
depth_multiple: 1.0  # model depth multiple
width_multiple: 1.0  # layer channel multiple

# anchors
anchors:
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32

# yolov7-tiny backbone
backbone:
  # [from, number, module, args] c2, k=1, s=1, p=None, g=1, act=True
  [[-1, 1, Conv, [32, 3, 2, None, 1, nn.LeakyReLU(0.1)]],  # 0-P1/2  
  
   [-1, 1, Conv, [64, 3, 2, None, 1, nn.LeakyReLU(0.1)]],  # 1-P2/4    
   
   [-1, 1, Conv, [32, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-2, 1, Conv, [32, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [32, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [32, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],  # 7
   
   [-1, 1, MP, []],  # 8-P3/8
   [-1, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-2, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [64, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [64, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]],  # 14
   
   [-1, 1, MP, []],  # 15-P4/16
   [-1, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-2, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [128, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [128, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [256, 1, 1, None, 1, nn.LeakyReLU(0.1)]],  # 21
   
   [-1, 1, MP, []],  # 22-P5/32
   [-1, 1, Conv, [256, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-2, 1, Conv, [256, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [256, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [256, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [512, 1, 1, None, 1, nn.LeakyReLU(0.1)]],  # 28
  ]

# yolov7-tiny head
head:
  [[-1, 1, SPPF, [256]], # 29
  
   [-1, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [21, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]], # route backbone P4
   [[-1, -2], 1, Concat, [1]],
   
   [-1, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-2, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [64, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [64, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]],  # 39
  
   [-1, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [14, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]], # route backbone P3
   [[-1, -2], 1, Concat, [1]],
   
   [-1, 1, Conv, [32, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-2, 1, Conv, [32, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [32, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [32, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],  # 49
   
   [-1, 1, Conv, [128, 3, 2, None, 1, nn.LeakyReLU(0.1)]],
   [[-1, 39], 1, Concat, [1]],
   
   [-1, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-2, 1, Conv, [64, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [64, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [64, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]],  # 57
   
   [-1, 1, Conv, [256, 3, 2, None, 1, nn.LeakyReLU(0.1)]],
   [[-1, 29], 1, Concat, [1]],
   
   [-1, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-2, 1, Conv, [128, 1, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [128, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [-1, 1, Conv, [128, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [[-1, -2, -3, -4], 1, Concat, [1]],
   [-1, 1, Conv, [256, 1, 1, None, 1, nn.LeakyReLU(0.1)]],  # 65
      
   [49, 1, Conv, [128, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [57, 1, Conv, [256, 3, 1, None, 1, nn.LeakyReLU(0.1)]],
   [65, 1, Conv, [512, 3, 1, None, 1, nn.LeakyReLU(0.1)]],

   [[66, 67, 68], 1, IDetect, [nc, anchors]],   # Detect(P3, P4, P5)
  ]
四、YOLOv7改进工作

了解二后，在YOLOv7项目文件下的models文件夹下的common.py，采用ctrl+F搜索如下代码。

self.act = nn.SiLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())

将其替换为如下所示的激活函数即可。

        self.act = nn.SiLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.ReLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.LeakyReLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.Hardswish() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.Mish() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.ELU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.GELU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.SELU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.RReLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.PReLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())

五、YOLOv5改进工作

了解二后，在YOLOv5项目文件下的models文件夹下的common.py，采用ctrl+F搜索如下代码。

self.act = nn.SiLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())

将其替换为如下所示的激活函数即可。

        self.act = nn.SiLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.ReLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.LeakyReLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.Hardswish() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.Mish() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.ELU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.GELU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.SELU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.RReLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
        # self.act = nn.PReLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())

更多文章产出中，主打简洁和准确，欢迎关注我，共同探讨！

拿下Nahida
关注
  • 34
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
YOLOv5/v7 更换激活函数
YOLOv8项目贡献者
04-26 2万+
教你YOLOv5/v7更换激活函数
YOLOv5改进系列(二) 更换激活函数SiLU，ReLU，ELU，Hardswish，Mish，Softplus，AconC等
weixin_44302770的博客
12-14 6091
1.1 什么是激活函数？在接触到深度学习（Deep Learning）后，特别是神经网络中，我们会发现在每一层的神经网络输出后都会使用一个函数（比如sigmoid，tanh，Relu等等）对结果进行运算，这个函数就是激活函数（Activation Function）。那么为什么需要添加激活函数呢？如果不添加又会产生什么问题呢？首先，我们知道神经网络模拟了人类神经元的工作机理，**激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。**
YOLOv5基础知识点——激活函数
qq_50645064的博客
08-04 7001
激活函数
Yolov5更换激活函数
m0_56247038的博客
05-22 4822
yolov5中utils/activations.py文件中已经写好了好多种激活函数，直接调用即可 如果要调用需要去common.py文件里修改，改完记得导入一下 想更换其他激活函数可以参照下面代码 class Conv(nn.Module): # Standard convolution def __init__(self, c1, c2, k=1, s=1, p=None, g=1, act=True): # ch_in, ch_out, kernel, strid
YOLOV5详解
bobchen1017的博客
03-23 5120
首先YOLOV3/V4/V5都是根据训练的数据集来生成anchor, 就是在训练之前用一个独立的程序去计算Anchor, 但是还不够好因为自动生成的anchor是拿来整个数据集去做的，但是我们知道目标检测训练的时候是分batch训练的, YOLOV5这边把这个功能嵌入到训练的流程中, 也就是说YOLOV5每一个batch会生成一次anchor更加贴近我们的数据集。
YOLOv5更换激活函数（FReLU+SE机制）
恐龙先生的博客
06-01 9598
本次我们在卷积层添加SE注意力模块来改进YOLOv5算法，同时用FReLU替换SILU激活函数，并通过添加跳转连接来改进PANet特征融合网络。
更换YOLOv5激活函数
Barry_Qu的博客
04-27 7521
YOLOv5更换激活函数
YOLOv5(PyTorch)目标检测：原理与源码解析
12-07
【为什么要学习这门课】 Linux创始人Linus Torvalds有一句名言：Talk is cheap. Show me the code. 冗谈不够，放码过来！代码阅读是从基础到提高的必由之路。 YOLOv5是最近推出的轻量且高性能的实时目标检测方法。YOLOv5使用PyTorch实现，含有很多业界前沿和常用的技巧，可以作为很好的代码阅读案例，让我们深入探究其实现原理，其中不少知识点的代码可以作为相关项目的借鉴。 【课程内容与收获】 本课程将详细解析YOLOv5的实现原理和源码，对关键代码使用PyCharm的debug模式逐行分析解读。 本课程将提供注释后的YOLOv5的源码程序文件。   【相关课程】 本人推出了有关YOLOv5目标检测的系列课程。请持续关注该系列的其它视频课程，包括：《YOLOv5(PyTorch)目标检测实战：训练自己的数据集》Ubuntu系统 https://edu.csdn.net/course/detail/30793 Windows系统 https://edu.csdn.net/course/detail/30923 《YOLOv5(PyTorch)目标检测：原理与源码解析》https://edu.csdn.net/course/detail/31428 《YOLOv5(PyTorch)目标检测实战：Flask Web部署》https://edu.csdn.net/course/detail/31087 《YOLOv5(PyTorch)目标检测实战：TensorRT加速部署》https://edu.csdn.net/course/detail/32303
Yolov5 激活函数
qq_35326529的博客
12-09 4369
activation.py文件
Keras 中Leaky ReLU等高级激活函数的用法
09-16
在深度学习领域，激活函数是神经网络模型中不可或缺的一部分，它们...对于那些不能直接通过名称调用的复杂激活函数，如Leaky ReLU和PReLU，我们需要通过创建单独的激活层来应用它们，确保它们正确地融入到网络结构中。
ReLU激活函数杂谈
01-06
在实现多层感知机代码实现中使用了ReLU激活函数： ReLU(x)=max(x,0)ReLU(x)=max(x,0)ReLU(x)=max(x,0) 形状大概是这样的 这里根据几个问题来进行回答解释 为什么要使用激活函数呢？ 简单来说激活函数的作用就是将...
5. 为什么引入激活函数，为什么relu好于tanh和sigmoid1
08-03
ReLU虽然在x时梯度为0，但可以通过变体如Leaky ReLU或PReLU来改善。 - **单调性**：保持梯度符号不变，有助于训练的稳定性。 - **输出范围有限**：有限的输出范围可以增加网络的稳定性，但可能导致梯度消失。现代...
pytorch方法测试——激活函数(ReLU)详解
09-18
为了解决这个问题，出现了修正线性单元的变体，如Leaky ReLU和Parametric ReLU（PReLU），它们允许一定程度的负斜率，从而降低死亡ReLU的问题。尽管如此，ReLU仍然是现代神经网络中常用的激活函数之一。
YOLOv5算法改进（18）— 手把手教你去更换激活函数（SiLU/ReLU/ELU/Hardswish/Mish/Softplus）
突然好想你
09-18 1482
在YOLOv5中，使用了不同的激活函数。本节课就简单介绍一下常见的激活函数并重点讲解如何去更换激活函数！
YOLOv5 激活函数(四)
@bangbang的博客
08-23 5027
1. 激活函数(Activation functions) 激活函数使神经网络具有非线性，它决定感知机是否激发。 激活函数的这种非线性赋予了深度网络学习复杂函数的能力 2. 各类激活函数 Swish 函数 f(x)=x.sigmoid(x)f(x)=x.sigmoid(x)f(x)=x.sigmoid(x) Mish 函数 f(x)=x.tanh(softplus(x))=x.tanh(in(1+ex))f(x)=x.tanh(softplus(x))=x.tanh(in(1+e^{x}))f
AI大视觉（十八） | Yolo v5的改进思想
热门推荐
aibigtruth的博客
08-09 2万+
本文来自公众号“每日一醒” ​ Yolo v5一共有四个模型，分别为Yolov5s、Yolov5m、Yolov5l、Yolov5x。 Yolov5s网络最小，速度最少，AP精度也最低，如果检测的以大目标为主，追求速度，倒也是个不错的选择。 其他的三种网络，在此基础上，不断加深加宽网络，AP精度也不断提升，但速度的消耗也在不断增加。 YOLOV5的改进 1、backbone：CSPDarkNet53+Focus 2、neck：SPP+PAN 3、head：YOLOv3 4、自适应图片
YOLOv5 解读版本1——2020.8.20
小小小麦昆的博客
08-20 3468
YOLOv4 vs. YOLOv5 data augmentation 传统增强+ CutOut 在CNN第一层随机扔掉某一块 Hide and seek MixUp 按权重把两张图加一起 CutMix cutout的区域加入另一张图的目标，应对遮挡问题，识别堆叠的目标物体 Mosaic马赛克 四张图片随机拼接成大图，缩放识别小物体缓解；batch压力 class label smoothing 引入均匀分布的噪声，平滑label，把类间距离放得更远了（原本只关注类内，不关注类间） 对比 YOLOv3
【YOLOv10改进[Conv]】KAN系列 |使用KAGNConv改进C2f + 含全部代码和详细修改方式 + 手撕结构图
最新发布
静谧、淡雅
07-19 15
【YOLOv10改进[Conv]】KAN系列 |使用KAGNConv改进C2f + 含全部代码和详细修改方式 + 手撕结构图
yolov5 中LeakyReLU 激活函数与Silu激活函数的关系
05-03
在 YOLOv5 中，LeakyReLU 和 Silu 都是激活函数，它们都是用来处理神经网络中的非线性变换。它们的主要区别在于形状和计算方式。 具体来说，LeakyReLU 是一个具有斜率的修正线性单元，它可以通过在输入小于0的时候使用小的斜率来解决神经元死亡的问题。而 Silu 是一个新的激活函数，也称为 Swish 函数，它是一个光滑的非线性变换函数，类似于 Sigmoid 函数，但它的计算方式更加高效。 在 YOLOv5 中，LeakyReLU 和 Silu 经常被用于卷积层后面的非线性变换，可以帮助网络更好地学习特征。通常情况下，Silu 比 LeakyReLU 更加高效，但在某些情况下，LeakyReLU 可能会更好。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值