【YOLOv8改进】LSKA(Large Separable Kernel Attention)：大核分离卷积注意力模块 (论文笔记+引入代码)

YOLO目标检测创新改进与实战案例专栏

专栏目录： YOLO有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例

专栏链接: YOLO目标检测创新改进与实战案例

介绍

摘要

带有大卷积核注意力（LKA）模块的视觉注意网络（VAN）在一系列基于视觉的任务上表现出色，超越了视觉Transformer（ViTs）。然而，这些LKA模块中的深度卷积层随着卷积核尺寸的增加，会导致计算和内存占用的二次增长。为了解决这些问题并使在VAN的注意力模块中使用超大卷积核成为可能，我们提出了一种大可分卷积核注意力模块家族，称为LSKA。LSKA将深度卷积层的二维卷积核分解为串联的水平和垂直一维卷积核。与标准LKA设计不同，这种分解方法使得可以直接在注意力模块中使用带有大卷积核的深度卷积层，而不需要额外的模块。我们证明了在VAN中使用的LSKA模块可以在计算复杂度和内存占用更低的情况下，达到与标准LKA模块相当的性能。我们还发现，随着卷积核尺寸的增加，提出的LSKA设计使VAN更倾向于关注物体的形状而不是纹理。此外，我们还在五种受损版本的ImageNet数据集上，对VAN、ViTs以及最新的ConvNeXt中的LKA和LSKA模块进行了稳健性基准测试，这些数据集在以往的工作中很少被探索。我们广泛的实验结果表明，随着卷积核尺寸的增加，提出的VAN中的LSKA模块显著减少了计算复杂度和内存占用，同时在对象识别、对象检测、语义分割和稳健性测试上表现优于ViTs、ConvNeXt，并与VAN中的LKA模块性能相当。代码可在 https://github.com/StevenLauHKHK/Large-Separable-Kernel-Attention 获得。

文章链接

论文地址：论文地址

代码地址：代码地址

基本原理

Large Separable Kernel Attention (LSKA)是一种新颖的注意力模块设计，旨在解决Visual Attention Networks (VAN)中使用大内核卷积时所面临的计算效率问题。LSKA通过将2D深度卷积层的卷积核分解为级联的水平和垂直1-D卷积核，从而实现了对大内核的直接使用，无需额外的模块。

概述

1. 基本设计：

   • LSKA将2D深度卷积层的卷积核分解为级联的水平和垂直1-D卷积核。
   • 这种分解设计使得LSKA可以直接使用深度卷积层的大内核，无需额外的模块或计算。

2. 计算效率：

   • LSKA的设计降低了参数数量的增长，从而降低了计算复杂度和内存占用。
   • 通过级联1-D卷积核的方式，LSKA在处理大内核时能够保持高效性能。

3. 形状和纹理偏好ÿ