优化改进YOLOv8算法之AKConv（可改变核卷积），即插即用的卷积，效果秒杀DSConv

目录

1 AKConv原理

1.1 Define the initial sampling position

1.2 Alterable convolutional operation

1.3 Extended AKConv

2 YOLOv8中加入AKConv模块

2.1 AKConv.py文件配置

2.2 task.py配置

2.3 创建添加优化点模块的yolov8-AKConv.yaml

2.4 训练 

---

1 AKConv原理

AKConv: Convolutional Kernel with Arbitrary Sampled Shapes andArbitrary Number of Parameters

摘要：基于卷积运算的神经网络在深度学习领域取得了令人瞩目的成果，但标准卷积运算存在两个固有的缺陷。一方面，卷积运算仅限于局部窗口，无法捕获其他位置的信息， 并且它的采样形状是固定的。 另一方面，卷积核的大小固定为k×k，是一个固定的正方形，参数的数量往往随大小呈平方增长。 很明显，不同数据集和不同位置的目标的形状和大小是不同的。 具有固定样本形状和正方形的卷积核不能很好地适应不断变化的目标。 针对上述问题，本工作探索了可改变核卷积（AKConv），它赋予卷积核任意数量的参数和任意采样形状，为网络开销和性能之间的权衡提供更丰富的选择。 在 AKConv 中，我们通过新的坐标生成算法定义任意大小的卷积核的初始位置。 为了适应目标的变化，我们引入了偏移量来调整每个位置的样本形状。 此外，我们通过使用具有相同大小和不同初始采样形状的 AKConv 来探索神经网络的效果。 AKConv 通过不规则卷积运算完成高效特征提取的过程，为卷积采样形状带来更多探索选择。 在代表性数据集 COCO2017、VOC 7+12 和 VisDrone-DET2021 上进行的物体检测实验充分展示了 AKConv 的优势。 AKConv可以作为即插即用的卷积运算来替代卷积运算来提高网络性能。

1.1 Define the initial sampling position

定义初始采样位置卷积神经网络基于卷积运算，通过规则采样网格将特征定位在相应位置。在规则采样网格中给出了3×3卷积运算。设R表示采样网格，则R表示如下：

然而，采样网格是规则的，而AKConv的目标是不规则形状的卷积核。因此，为了允许不规则卷积核具有采样网格，我们创建了一种任意大小卷积的算法，该算法生成卷积核Pn的初始采样坐标。首先，我们将采样网格生成为规则采样网格，然后为剩余的采样点创建不规则网格，最后，我们将它们缝合以生成整体采样网格。伪代码如算法1所示。

如图2所示，它表明初始采样坐标是为任意大小的卷积生成的。正则卷积的采样网格以（0，0）点为中心。虽然不规则卷积在许多大小上都没有中心，但为了适应所使用的卷积的大小，我们在算法中设置左上角（0，0）点作为采样原点。 

在定义了不规则卷积的初始坐标Pn之后，位置P0处的相应卷积运算可以定义如下：

 这里，w表示卷积参数。然而，不规则的卷积运算是不可能实现的，因为不规则的采样坐标不能与相应大小的卷积运算相匹配，例如，大小为5、7和13的卷积。聪明的是，我们提出的AKConv实现了这一点。

1.2 Alterable convolutional operation

很明显，标准卷积采样位置是固定的，这导致卷积只能提取当前窗口的局部信息，而不能捕获其他位置的信息。可变形Conv通过卷积运算来学习偏移，以调整初始规则模式的采样网格。该方法在一定程度上弥补了卷积运算的不足。然而，标准卷积和可变形卷积是规则采样网格，不允许具有任意数量参数的卷积核。此外，随着卷积核的大小增加，它们的卷积参数的数量往往会增加一个平方，这对硬件环境来说是不友好的。因此，我们提出了一种新的可变卷积运算（AKConv）。如图3所示，它展示了尺寸为5的AKConv的整体结构。