超强！一区直接写！基于SSA+Informer-SENet故障诊断模型

本文链接：https://blog.csdn.net/2402_85668383/article/details/144539371

往期精彩内容：

Python-凯斯西储大学（CWRU）轴承数据解读与分类处理

基于FFT + CNN - BiGRU-Attention 时域、频域特征注意力融合的轴承故障识别模型-CSDN博客

基于FFT + CNN - Transformer 时域、频域特征融合的轴承故障识别模型-CSDN博客

Python轴承故障诊断 (11)基于VMD+CNN-BiGRU-Attenion的故障分类-CSDN博客

Python轴承故障诊断 (13)基于故障信号特征提取的超强机器学习识别模型-CSDN博客

Python轴承故障诊断 (14)高创新故障识别模型-CSDN博客

Python轴承故障诊断 (15)基于CNN-Transformer的一维故障信号识别模型-CSDN博客

Python轴承故障诊断 (16)高创新故障识别模型（二）-CSDN博客

轴承故障全家桶更新 | 基于时频图像的分类算法-CSDN博客

Python轴承故障诊断 (17)基于TCN-CNN并行的一维故障信号识别模型-CSDN博客

独家原创 | SCI 1区高创新轴承故障诊断模型！-CSDN博客

基于 GADF+Swin-CNN-GAM 的高创新轴承故障诊断模型-CSDN博客

Python轴承故障诊断 (18)基于CNN-TCN-Attention的创新诊断模型-CSDN博客

注意力魔改 | 超强轴承故障诊断模型！-CSDN博客

轴承故障全家桶更新 | 基于VGG16的时频图像分类算法-CSDN博客

轴承故障全家桶更新 | CNN、LSTM、Transformer、TCN、串行、并行模型、时频图像、EMD分解等集合都在这里-CSDN博客

Python轴承故障诊断 (19)基于Transformer-BiLSTM的创新诊断模型-CSDN博客

Python轴承故障诊断 (20)高创新故障识别模型（三）-CSDN博客

视觉顶会论文 | 基于Swin Transformer的轴承故障诊断-CSDN博客

Python轴承故障诊断 | 多尺度特征交叉注意力融合模型-CSDN博客

SHAP 模型可视化 + 参数搜索策略在轴承故障诊断中的应用-CSDN博客

速发论文 | 基于 2D-SWinTransformer+1D-CNN-SENet并行故障诊断模型-CSDN博客

Python轴承故障诊断 (21)基于VMD-CNN-BiTCN的创新诊断模型-CSDN博客

1DCNN-2DResNet并行故障诊断模型-CSDN博客

基于改进1D-VGG模型的轴承故障诊断和t-SNE可视化-CSDN博客

基于K-NN + GCN的轴承故障诊断模型-CSDN博客

故障诊断 | 创新模型更新：基于SSA-CNN-Transformer诊断模型-CSDN博客

独家首发 | 基于 2D-SwinTransformer + BiGRU-GlobalAttention的并行故障诊断模型-CSDN博客

位置编码祛魅 | 详解Transformer中位置编码Positional Encoding-CSDN博客

创新点 | 基于快速傅里叶卷积（FFC）的故障诊断模型-CSDN博客

代码开源! | 变工况下的域对抗图卷积网络故障诊断-CSDN博客

超强！顶会创新融合！基于 2D-SWinTransformer 的并行分类网络-CSDN博客

多模态-故障诊断 | 大核卷积开启视觉新纪元!-CSDN博客

前言

本期推出一种基于SENet优化的Informer模型，并利用麻雀优化算法优化搜索模型参数，在故障诊断任务上效果显著！

● 数据集：CWRU西储大学轴承数据集（还适用于电能质量扰动信号、脑电信号、一维时间序列等分类任务）

● 环境框架：python 3.9 pytorch 1.8 及其以上版本均可运行

● 准确率：训练集、测试集100%

● 使用对象：模型论文需求、毕业设计需求者

● 代码保证：代码注释详细、即拿即可跑通。

模型效果如下：

模型评估：

故障十分类混淆矩阵：

模型训练后的 t-SNE特征可视化：

注意：我们还有配套的模型讲解（方便学习网络结构）和视频讲解！有毕业设计或者发小论文需求的同学必看，模块丰富，创新度高，性能优越，创新模型还未发表，即买即用！！

1 模型创新点介绍

1.1 时序特征捕捉与建模

使用Informer的编码器层来捕捉长故障信号时序依赖特征

长时间序列处理：传统的RNN和LSTM等方法在处理长时间序列时存在计算效率低、梯度消失等问题。Informer通过改进Transformer架构，使用ProbSparse Self-Attention机制，有效地提高了计算效率，特别是对于长时间序列数据。
全局特征提取：通过多头注意力机制，Informer能够捕捉序列数据中的全局特征和长时间依赖关系，确保对故障信号的时序特征进行全面建模。

1.2 概率稀疏注意力机制（ProbSparse Self-attention）

概率稀疏自注意力是Informer模型中引入的一种稀疏自注意力机制。其核心思想是通过概率方法选择最重要的一部分注意力权重进行计算，而忽略那些对结果影响较小的权重。这种方法能够显著降低计算复杂度，同时保持较高的模型性能。

稀疏自注意力：不同于标准 Transformer 的密集自注意力机制，Informer 引入了 ProbSparse Self-attention，通过概率抽样机制选择重要的 Q-K 对进行计算，减少了计算复杂度。
效率提升：稀疏注意力机制显著降低了计算复杂度，从 O(L2⋅d) 降低到 O(L⋅log(L)⋅d)，其中 L 是序列长度，d 是每个时间步的特征维度。

1.3 多尺度特征提取-信息蒸馏

Informer的架构图并没有像Transformer一样在Encoder的左边标注来表示N个Encoder的堆叠，而是一大一小两个梯形。横向看完单个Encoder（也就是架构图中左边的大梯形，是整个输入序列的主堆栈）。

Encoder的作用是Self-attention Distilling，由于ProbSparse自相关机制有很多都是用V的mean填充的，所以天然就存在冗余的attention sorce ,因此在相邻的Attention Block之间应用卷积与池化来对特征进行下采样，所以作者在设计Encoder时，采用蒸馏的操作不断抽取重点特征，从而得到值得重点关注的特征图。

多尺度时间序列特征提取：Informer 通过多尺度的方式对不同时间粒度的特征进行建模，可以更好地捕捉时间序列中的多尺度依赖关系。
信息蒸馏：引入了信息蒸馏机制，通过层次化的时间卷积池化层逐步缩减时间步长，提取不同尺度的特征，实现长时间依赖的高效建模。
卷积降维：在编码器中使用1D卷积池化层进行降维，步长为2，使得序列长度减半，进一步减少计算复杂度。
信息压缩：通过卷积池化层进行信息压缩，将长序列信息浓缩到较短的时间步长中，从而更高效地进行时序建模。

1.4 特征增强与融合

在Informer的编码器层结合SENet进行特征增强

自适应特征校准：SENet通过Squeeze-and-Excitation模块，对每个通道的特征进行自适应权重调整，增强重要特征，抑制无关或冗余特征。这种机制可以提升模型对故障信号关键特征的敏感度，提高故障诊断的准确性。
通道间依赖建模：SENet能够捕捉不同通道特征之间的关系，通过重新校准特征通道的权重，使得模型能够更加有效地融合多通道信息，提升整体特征表达能力。