yolov5激活函数和损失函数改进

目录

漏斗激活（FReLU）

box损失函数改为EIOU

---

从输入端、主干特征提取网络（backbone）、特征融合网络（neck）、检测头等四个方面进行改进，从改进的方法包括添加注意力机制、损失函数改进、改变网络结构、替换主干特征提取网络、改进非极大值抑制、k-means++聚类算法等方面进行改进。

漏斗激活（FReLU）

它通过添加空间条件的负开销将ReLU和PReLU扩展为2D激活。ReLU和PReLU的形式分别是y=max（x，0）和y=max（x，px），而FReLU是y=max（x，T（x））的形式，其中T（·）是2D空间条件。此外，空间条件以简单的方式实现了像素级建模能力，通过规则卷积捕获复杂的视觉布局。

class FReLU(nn.Module):
    def __init__(self, c1, k=3):  # ch_in, kernel
        super().__init__()
        self.conv = nn.Conv2d(c1, c1, k, 1, 1, groups=c1, bias=False)
        self.bn = nn.BatchNorm2d(c1)
 
    def forwar