惊！多尺度特征融合竟能让 EEG 情感识别准确率飙升至 99% 以上，秘密何在？

前沿速递AI

已于 2025-03-10 16:11:33 修改

阅读量721

点赞数 19

文章标签：计算机视觉人工智能特征融合

于 2025-03-10 11:33:31 首次发布

本文链接：https://blog.csdn.net/Mikasa33/article/details/146148864

版权

在人工智能快速发展的背景下，多尺度特征融合成为计算机视觉、脑机接口和医学影像分析等领域的研究热点。计算机视觉中，如何有效捕捉图像的多尺度特征以提升目标识别和场景理解能力是关键挑战。脑机接口领域，从EEG信号中提取准确的情感信息对智能人机交互系统至关重要。医学影像分析则需融合多层次特征以辅助精准诊断。

近期研究提出了多项创新成果。例如，基于互交叉注意力机制（MCA）的特征融合方法，通过双向注意力计算挖掘时域和频域特征的互补关系，设计了Channel-Frequency-Time 3D特征结构，在EEG情感识别中取得了显著效果，效价和唤醒度准确率分别达到99.49%和99.30%。此外，HiFuse网络通过全局、局部特征块和自适应层次特征融合块（HFF block）有效避免了特征干扰，提升了特征表示能力。

与以往研究相比，这些新成果在融合机制和特征结构设计上具有明显优势。多尺度特征融合的研究热度持续上升，吸引了大量科研人员，产出了丰富的研究素材。本文整理了12篇相关前沿论文，深入分析其创新思路与方法，旨在为学术研究和实际应用提供参考。

全部论文+开源代码需要的同学看文末

【论文1】Feature Fusion Based on Mutual-Cross-Attention Mechanism for EEG Emotion Recognition

PSD diagram of subject 01.

1.研究方法

论文提出基于互交叉注意力机制（MCA）进行特征融合的理论。研究者受自注意力机制启发，提出从两个特征各个方向应用注意力机制的 MCA。该机制以 DE 和 PSD 作为主要融合特征，利用其在不同频率带的特性，在每个频率带上进行融合，挖掘 EEG 数据中的情感信息。同时，研究者采用专门设计的 3D-CNN 结构对融合后的特征进行分类。3D-CNN 通过多个卷积层、池化层和全连接层，逐步提取特征并进行分类，增强网络对特征的提取能力。 Overview of mutual-cross-attention mechanism.

2.论文创新点

论文提出了基于互交叉注意力机制（MCA）的特征融合方法，用于EEG情感识别，其创新点体现在机制、特征结构和实验表现上：

提出MCA机制：在EEG情感分析领域首创纯数学的MCA特征融合方法。突破传统直接连接特征映射或添加额外神经网络的方式，借助双向注意力计算，深入挖掘时域和频域特征间的互补关系。降低模型训练负担，提升模型输出效率与可解释性，为EEG特征融合提供新途径。
设计新3D特征结构：经分析现有项目，发现频谱信息的优势，进而开发出独特的Channel - Frequency - Time 3D特征结构。能同时呈现频谱和时间信息，相较于传统基于拓扑结构扩展的3D特征表示，更契合情感识别需求，其实验表现验证了该结构的合理性与有效性。
优异的实验表现：该方法在DEAP数据集上成绩优异，效价准确率达99.49%，唤醒度准确率达99.30%。通过消融实验，有力证明了MCA机制在融合DE和PSD信息方面的优势。与其他SOTA方法对比，凸显了在特征融合和特征结构设计上的优越性，成功克服现有系统在即时性、准确性和可解释性方面的局限。

论文链接：https://arxiv.org/pdf/2406.14014

【论文2】HiFuse: Hierarchical Multi-scale Feature Fusion Network for Medical Image Classification

Overall structure of the HiFuse model.

1.研究方法

HiFuse 模型采用三分支层次化多尺度特征融合结构，由全局特征块、局部特征块和自适应层次特征融合块（HFF block）组成。全局特征块利用窗口多头自注意力（W-MSA）机制提取全局语义信息，降低计算量；局部特征块使用 3×3 深度卷积提取局部空间特征；HFF block 融合不同层次的局部和全局特征，其中包含通道注意力机制、空间注意力机制、倒置残差多层感知器（IRMLP）和快捷连接，以增强特征表示和抑制噪声。

2.论文创新点

创新的网络框架：研究者提出了HiFuse这一独特的网络框架，它是一种三分支层次化多尺度特征融合网络结构。该结构由全局特征块、局部特征块和HFF块构成，能并行提取医学图像的全局和局部特征，并在不同语义尺度上融合这些特征，有效避免了传统方法中特征融合时相互干扰的问题，为医学图像分类提供了更有效的特征表示。
设计新的融合模块：研究者设计了自适应层次特征融合块（HFF block）。这个模块包含空间注意力机制、通道注意力机制、倒置残差多层感知器（IRMLP）和快捷连接。它能够自适应地融合不同层的局部特征、全局表示以及前一层次融合后的语义信息，增强了网络对不同尺度特征的融合能力，提升了特征表示的丰富性和准确性。
优化计算复杂度：在模型设计中，研究者通过多种方式降低计算复杂度。例如，全局特征块中采用窗口多头自注意力（W-MSA）机制替代传统的多头自注意力（MSA）模块，减少计算量；局部特征块使用3×3深度卷积，有效降低了网络的FLOPs；同时，整体的网络结构设计使得全局和局部分支在各自的路径上独立处理信息，避免了不必要的信息交互带来的计算负担，在保证分类精度的同时提高了模型的运行效率。