爆改YOLOv8 |YOLOv8融合Mamba注意力机制MLLA

1，本文介绍

Mamba-Like Linear Attention (MLLA)是一种模型，结合了Mamba和线性注意力Transformer的优点，旨在提高模型在视觉任务中的性能。

1. 线性注意力：

   • 线性注意力是一种注意力机制，用于计算输入序列中各个位置之间的关联性。与传统的Softmax注意力不同，线性注意力使用线性归一化代替非线性Softmax函数，从而降低计算复杂度。这使得线性注意力的计算复杂度从O(N^2)降低到O(N)，提高了效率。

2. Mamba模型：

   • Mamba是一种基于状态空间的模型，具有线性计算复杂度。它通过有效地建模序列来处理长序列，适用于自然语言处理和视觉识别任务。

3. MLLA的数学原理：

   • MLLA模型将Mamba的关键设计元素（如遗忘门和块设计）与线性注意力Transformer相结合。在数学上，这意味着将Mamba的状态空间建模方法与线性注意力的位置关联性计算相结合，以提高模型的表现。

4. 遗忘门的替代：

   • 在MLLA中，遗忘门通常被替代为适当的位置编码。这些位置编码可以在视觉任务中代替遗忘门的功能，同时保持模型的并行计算和快速推理速度。

5. 核心设计元素的整合：

   • MLLA模型的关键设计元素包括遗忘门和块设计。通过将这些设计元素整合到线性注力中，MLLA模型能够在图像分类和密集预测任务中取得优越性

关于MLLA的详细介绍可以看论文:https://arxiv.org/pdf/2405.16605

本文将讲解如何将MLLA融合进yolov8

话不多说，上代码！

2 将MLLA融合进yolov8

2.1 步骤一

首先找到如下的目录'ultralytics/nn'，然后在这个目录下创建一个'Addmodules'文件夹，然后在这个目录下创建一个MLLA.py文件，文件名字可以根据你自己的习惯起，然后将MLLA的核心代码复制进去。

# MLLA的核心代码
# --------------------------------------------------------
# Swin Transformer
# Copyright (c) 2021 Microsoft
# Licensed under The MIT License [see LICENSE for details]
# Written by Ze Liu
# --------------------------------------------------------
# Demystify Mamba in Vision: A Linear Attention Perspective
# Modified by Dongchen Han
# -----------------------------------------------------------------------
 
import torch
import torch.nn as nn
 
__all__ = ['MLLAttention']
 
class Mlp(nn.Module):
    def __init__(self, in_features, hidden_features=None, out_features=None, act_layer=nn.GELU, drop=0.):
        super().__init__()
        out_features = out_features or in_features
        hidden_feature