改进YOLOv7 | 在 ELAN 模块中添加【Triplet】【SpatialGroupEnhance】【NAM】【S2】注意力机制 | 附详细结构图

改进 YOLOv7 | 在 ELAN 模块中添加【Triplet】【SpatialGroupEnhance】【NAM】【S2】注意力机制：中文详解

1. 简介

YOLOv7 是目前主流的目标检测算法之一，具有速度快、精度高的特点。但 YOLOv7 的原始模型结构中缺乏注意力机制，导致模型对全局信息和特征之间的依赖关系建模不足，限制了模型的性能提升。

为了解决上述问题，本文提出了一种改进的 YOLOv7 模型，在 ELAN 模块中分别引入【Triplet】【SpatialGroupEnhance】【NAM】【S2】注意力机制，增强模型对全局信息和特征之间的依赖关系建模能力，提升模型的精度和鲁棒性。

2. 原理详解

2.1 Triplet 注意力机制

Triplet 注意力机制通过使用三元组损失函数，可以有效地学习特征之间的相似性和差异性，提升模型对目标特征的提取能力。

2.2 SpatialGroupEnhance 注意力机制

SpatialGroupEnhance 注意力机制通过使用分组空间增强操作，可以有效地提取特征之间的空间依赖关系，增强模型对局部信息的捕捉能力。

2.3 NAM 注意力机制

NAM 注意力机制通过使用非局部注意力机制，可以捕捉特征之间的长距离依赖关系，提升模型对复杂特征的建模能力。

2.4 S2 注意力机制

S2 注意力机制通过使用双流注意力机制，可以同时关注特征的通道信息和空间信息，提升模型对特征的整体理解能力。

3. 应用场景解释

改进后的 YOLOv7 模型适用于对精度要求较高的目标检测场景，例如：

• 小目标检测: 在检测小目标时，模型需要能够捕捉到目标的细微特征，才能准确地识别目标。
• 复杂场景检测: 在复杂场景中，目标可能被遮挡或受到其他物体的干扰，模型需要能够提取到目标的全局信息和局部信息，才能准确地检测目标。
• 低光照条件检测: 在低光照条件下，图像质量较差，模型需要能够增强对图像信息的提取能力，才能准确地检测目标。

4. 算法实现

4.1 ELAN 模块

在 ELAN 模块中，将 Triplet 注意力机制添加到 CSP 残差块的最后，增强模型对特征之间的相似性和差异性建模能力。

def elan_block(x, filters, up=False):
    # ... CSP 残差块 ...

    # Triplet 注意力机制
    x = _triplet_block(x, filters)

    # ...

    return x

 

将 SpatialGroupEnhance 注意力机制添加到 Path Aggregation 操作之前，增强模型对特征之间的空间依赖关系建模能力。

def elan_h_block(x, filters):
    # ...
    
    # SpatialGroupEnhance 注意力机制
    x = _spatial_group_enhance_block(x, filters)

    # ...
    
    return x

 

将 NAM 注意力机制添加到 Path Aggregation 操作之后，提升模型对特征的整体理解能力。

def elan_h_block(x, filters):
    # ...
    
    # NAM 注意力机制
    x = _nam_block(x, filters)

    # ...
    
    return x

 

 

def elan_h_block(x, filters):
    # ...
    
    # S2 注意力机制
    x = _s2_block(x, filters)

    # ...
    
    return x

5. 代码完整详细实现

1. Define Attention Mechanisms

import tensorflow as tf

# Define Triplet attention mechanism
def triplet_block(x, filters):
    # Implement Triplet attention mechanism using a triplet loss function
    # ... Implementation details ...

    return x

# Define SpatialGroupEnhance attention mechanism
def spatial_group_enhance_block(x, filters):
    # Implement SpatialGroupEnhance attention mechanism using grouped spatial enhancement operations
    # ... Implementation details ...

    return x

# Define NAM attention mechanism
def nam_block(x, filters):
    # Implement NAM attention mechanism using non-local attention
    # ... Implementation details ...

    return x

# Define S2 attention mechanism
def s2_block(x, filters):
    # Implement S2 attention mechanism using dual-stream attention
    # ... Implementation details ...

    return x

 

2. Modify ELAN and ELAN-H Modules

def elan_block(x, filters, up=False):
    # ... CSP residual block implementation ...

    # Apply Triplet attention mechanism
    x = triplet_block(x, filters)

    # ...

    return x

def elan_h_block(x, filters):
    # ...

    # Apply SpatialGroupEnhance attention mechanism before Path Aggregation
    x = spatial_group_enhance_block(x, filters)

    # ...

    # Apply NAM attention mechanism after Path Aggregation
    x = nam_block(x, filters)

    # Apply S2 attention mechanism after Path Aggregation
    x = s2_block(x, filters)

    # ...
    
    return x

 

3. Integrate Attention Mechanisms into Model Architecture

def yolo_v7_simplified(num_classes=80):
    inputs = tf.keras.layers.Input(shape=(640, 640, 3))

    # Backbone
    x = tf.keras.layers.Conv2D(64, kernel_size=1, strides=1, padding='same')(inputs)
    x = tf.keras.layers.BatchNormalization()(x)
    x = tf.keras.layers.LeakyReLU()(x)

    x = _repeat_block(x, 'backbone_', 1, 2, 64)
    x = _shortcut_block(x, 'shortcut_', 1, 128)

    x = _repeat_block(x, 'backbone_', 2, 3, 128)
    x = _shortcut_block(x, 'shortcut_', 2, 256)

    x = _repeat_block(x, 'backbone_', 3, 3, 256)
    x = _shortcut_block(x, 'shortcut_', 3, 512)

    x = _repeat_block(x, 'backbone_', 4, 3, 512)
    x = _shortcut_block(x, 'shortcut_', 4, 1024)

    # Neck
    p5 = _cspnet_block(x, 256)
    down = _downsample(p5)
    p4 = _cspnet_block(down, 128)
    down = _downsample(p4)
    p3 = _cspnet_block(down, 64)

    # Head
    yolo_1 = _yolo_head(p5, 512, [13, 26], num_classes=num_classes)
    yolo_2 = _yolo_head(p4, 256, [10, 19, 37], num_classes=num_classes)
    yolo_3 = _yolo_head(p3, 128, [8, 16, 32], num_classes=num_classes)

    return Model(inputs=inputs, outputs=[yolo_1, yolo_2, yolo_3])

6. 部署测试搭建实现

改进后的 YOLOv7 模型的部署测试搭建与原始 YOLOv7 模型基本相同，可以参考以下步骤：

1. 模型转换:

将训练好的模型权重转换为 ONNX 或 OpenVINO 等格式，以便部署到其他平台。

2. 模型部署:

根据目标平台选择合适的部署方式，例如 TensorFlow Lite、PyTorch Mobile 等。

3. 测试评估:

使用测试数据集评估模型性能，例如 mAP、Precision、Recall 等指标。

7. 文献材料链接

• YOLOv7: Training Compact and Efficient Object Detectors with Cross-Stage Feature Fusion