交叉注意力融合时域、频域特征的FFT + CNN -Transformer-CrossAttention电能质量扰动识别模型

最新推荐文章于 2024-12-30 13:54:04 发布
最新推荐文章于 2024-12-30 13:54:04 发布
阅读量2k 收藏 22
点赞数 37
分类专栏： 电能质量扰动信号 文章标签： cnn transformer 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2402_85668383/article/details/143272544
版权

往期精彩内容：

Python-电能质量扰动信号数据介绍与分类-CSDN博客

Python电能质量扰动信号分类(一)基于LSTM模型的一维信号分类-CSDN博客

Python电能质量扰动信号分类(二)基于CNN模型的一维信号分类-CSDN博客

Python电能质量扰动信号分类(三)基于Transformer的一维信号分类模型-CSDN博客

Python电能质量扰动信号分类(四)基于CNN-BiLSTM的一维信号分类模型-CSDN博客

Python电能质量扰动信号分类(五)基于CNN-Transformer的一维信号分类模型-CSDN博客

Python电能质量扰动信号分类(六)基于扰动信号特征提取的超强机器学习识别模型-CSDN博客

电能质量Python实现全家桶-CSDN博客

基于FFT + CNN - BiGRU-Attention 时域、频域特征注意力融合的电能质量扰动识别模型-CSDN博客

基于FFT + CNN -Transformer时域、频域特征融合的电能质量扰动识别模型-CSDN博客

交叉注意力融合时域、频域特征的FFT + CNN -BiLSTM-CrossAttention电能质量扰动识别模型-CSDN博客

创新点：利用交叉注意力机制融合时频特征！

前言

本文基于Python仿真的电能质量扰动信号，进行快速傅里叶变换（FFT）的介绍与数据预处理，最后通过Python实现基于FFT的CNN-Transformer-CrossAttention模型对电能质量扰动信号的分类。Python仿真电能质量扰动信号的详细介绍可以参考下文（文末附10分类数据集）：

Python-电能质量扰动信号数据介绍与分类_简述高频振荡、中频振荡、低频振荡的主频率范围与持续时间范围-CSDN博客

部分扰动信号类型波形图如下所示：

​

模型整体结构

模型整体结构如下所示，一维扰动信号经过FFT变换的频域特征以及信号本身的时域特征分别经过CNN卷积池化操作，提取全局特征，然后再经过Transformer-提取时序特征，使用交叉注意力机制融合时域和频域的特征，通过计算注意力权重，使得模型更关注重要的特征再进行特征增强融合，最后经过全连接层和softmax输出分类结果。

(1) 时域和频域特征提取：

 对时域信号应用FFT，将信号转换到频域。

 利用CNN对频域特征进行学习和提取。CNN的卷积层可以捕捉频域特征的局部模式。

(2) 特征Transformer 编码器层：

 将时域信号输入Transformer编码器层。Transformer编码器层可以有效地捕捉时域信号的长期依赖关系。

(3) 交叉注意力机制：

 使用交叉注意力机制融合时域和频域的特征。这可以通过计算注意力权重，使得模型更关注重要的

1 快速傅里叶变换FFT原理介绍

傅里叶变换是一种信号处理和频谱分析的工具，用于将一个信号从时间域转换到频率域。而快速傅里叶变换（FFT）是一种高效实现傅里叶变换的算法，特别适用于离散信号的处理。

第一步，导入部分数据，扰动信号可视化

第二步，扰动信号经过FFT可视化

2 电能质量扰动数据的预处理

2.1 导入数据

在参考IEEE Std1159-2019电能质量检测标准与相关文献的基础上构建了扰动信号的模型，生成包括正常信号在内的10中单一信号和多种复合扰动信号。参考之前的文章，进行扰动信号10分类的预处理：

第一步，按照公式模型生成单一信号

单一扰动信号可视化：

2.2 制作数据集

制作数据集与分类标签

3 交叉注意力机制

3.1 Cross attention概念

  • Transformer架构中混合两种不同嵌入序列的注意机制

  • 两个序列必须具有相同的维度

  • 两个序列可以是不同的模式形态（如：文本、声音、图像）

  • 一个序列作为输入的Q，定义了输出的序列长度，另一个序列提供输入的K&V

3.2 Cross-attention算法 

  • 拥有两个序列S1、S2

  • 计算S1的K、V

  • 计算S2的Q

  • 根据K和Q计算注意力矩阵

  • 将V应用于注意力矩阵

  • 输出的序列长度与S2一致

在融合过程中，我们将经过FFT变换的频域特征作为查询序列，时序特征作为键值对序列。通过计算查询序列与键值对序列之间的注意力权重，我们可以对不同特征之间的关联程度进行建模。

4 基于FFT+CNN-Transformer-CrossAttention扰动信号识别模型

4.1 网络定义模型

​

注意：输入故障信号数据形状为 [64, 1024]， batch_size=64,  ，1024代表扰动信号序列长度。

4.2 设置参数，训练模型

​

50个epoch，准确率达100%，用FFT+CNN-Transformer-CrossAttention融合网络模型分类效果显著，模型能够充分提取轴承故障信号的空间和时序特征和频域特征，收敛速度快，性能优越，精度高，交叉注意力机制能够对不同特征之间的关联程度进行建模，从故障信号频域、时域特征中属于提取出对模型识别重要的特征，效果明显。

4.3 模型评估

准确率、精确率、召回率、F1 Score

​

故障十分类混淆矩阵：

​

代码、数据整理如下：

​

故障诊断模型 | 基于交叉注意力融合时频特征的轴承故障诊断模型
算法如诗的博客
04-01 725
故障诊断模型 | 基于交叉注意力融合时频特征的轴承故障诊断模型
将Fnet 的fft层 替换为cnn 将位置编码替换为fft 加速收敛 实现文本分类
东方佑
07-08 307
这段代码是一个基于PaddlePaddle的编码器模型实现。主要包含三个类：FeedForward、EncoderBlock和Fnet。FeedForward类定义了一个前馈神经网络，包含两个全连接层和一层GELU激活函数。它将输入进行线性变换、激活和dropout操作后输出。EncoderBlock类定义了一个编码器块，包含一个LayerNorm层、一个FeedForward层和另一个LayerNorm层。它还包括一个1D卷积层，用于从隐藏维度（hiddendimension）中提取特征。
时间序列对比学习——时频域融合
m0_68517210的博客
04-30 2553
作者想解决什么问题？获取更好的时间序列表征。作者通过什么理论/模型来解决这个问题？通过dropout实现序列instance level的采样，相较于以往的切片采样方式，更加完整的保留了序列信息。提出了一个Bilinear Temporal-Spectral Fusion（BTSF）模块将时域和频域信息进行深度融合。作者给出的答案是什么？通过多个下游任务实验，验证了其提出的方法的有效性。
交叉注意力融合时域、频域特征的FFT + CNN -BiLSTM-CrossAttention电能质量扰动识别模型
10-26 1305
本文基于Python仿真的电能质量扰动信号，进行快速傅里叶变换（FFT）的介绍与数据预处理，最后通过Python实现基于FFT的CNN-BiLSTM-CrossAttention模型对电能质量扰动信号的分类。
炙手可热！频域+特征融合！最新idea霸榜CVPR
最新发布
Aimoxin111的博客
12-30 1369
频率感知特征融合（FreqFusion）：通过自适应低通滤波器减少类内不一致性，并通过自适应高通滤波器增强边界细节，显著提升了特征融合的效果，实验结果显示在各种密集预测任务中性能显著提升，例如在ADE20K数据集上，与SegFormerB1相比，mIoU提升了2.8%。时序提升池化（TLP）：通过从信号处理中提升方案衍生出的TLP，实现了对输入信号的多子带分解，每个子带对应特定的运动模式，与手工池化方法相比，TLP在连续手语识别（CSLR）任务中性能提升了1.5%，同时保持了相似的计算开销。
2022年春浙江工业大学算法设计与分析习题分享——FFT以及CNN加速
RA_RP的博客
03-30 713
从分治以及傅里叶变换看FFT，并考虑FFT加速CNN网络
Python轴承故障诊断 (一)短时傅里叶变换STFT_故障诊断初学与python(1)
2401_83601703的博客
04-21 1311
本文基于凯斯西储大学（CWRU）轴承数据，进行短时傅里叶变换的介绍与参数选择，最后通过Python实现对故障数据的时频图像分类。Python-凯斯西储大学（CWRU）轴承数据解读与分类处理_cwru轴承数据集-CSDN博客将信号分解成一系列不同频率的连续正弦波的叠加；或者说，将信号从时间域转换到频率域。由于傅里叶变换是对整个信号进行变换，将整个信号从时域转换到频域，得到一个整体的频谱；丢掉了时间信息，无法根据傅立叶变换的结果判断一个特定信号在什么时候发生；
YOLOv11模型改进-注意力-引入傅里叶+Transformer模块FSAS 增强频域特征
qq_64693987的博客
10-24 2299
1. 卷积操作:通过1X1逐点卷积和3X3深度卷积对输入特征进行初步处理，以获取用于后续计算的特征q k v。2. 傅里叶变换:利用快速傅里叶变换（FFT）及其逆变换（IFFT）将特征从空间域转换到频域，并在频域中进行相关性计算。3. 归一化操作:使用层归一化（Layer Norm）对计算得到的相关性结果进行归一化处理，以便更好地估计聚合特征。最后通过一个的卷积操作将原始输入特征和估计的聚合特征相结合，生成最终的输出特征。
Python轴承故障诊断 (一)短时傅里叶变换STFT_故障诊断初学与python
2301_79055239的博客
04-08 899
本文基于凯斯西储大学（CWRU）轴承数据，进行短时傅里叶变换的介绍与参数选择，最后通过Python实现对故障数据的时频图像分类。Python-凯斯西储大学（CWRU）轴承数据解读与分类处理_cwru轴承数据集-CSDN博客将信号分解成一系列不同频率的连续正弦波的叠加；或者说，将信号从时间域转换到频率域。由于傅里叶变换是对整个信号进行变换，将整个信号从时域转换到频域，得到一个整体的频谱；丢掉了时间信息，无法根据傅立叶变换的结果判断一个特定信号在什么时候发生；
基于FFT频谱与小波时频图的双流CNN轴承故障诊断模型
qq_41043389的博客
06-11 1万+
基于2D-CNN与1D-CNN，构建双通道的CNN（双流CNN），其中2D-CNN以小波时频图为输入，而1D-CNN以FFT频谱信号为输入，分别进行卷积层与池化层的特征提取之后，拉伸为特征向量，然后在汇聚层进行拼接，接着是全连接层与分类层。此种方法可以实现1维时域特征与2维时频域特征的有效融合，并以此来提高分类正确率。
[图像处理3]卷积神经网络的底层理解——傅里叶变换
weixin_47133384的博客
03-02 2094
卷积神经网络识别的关键在于隐藏层，能够把图片的特征抽象出来，然后根据特征的线性组合（再通过激活函数增加非线性）去判断是哪个数字。输入层：把数据按照维度摊平展开，输入到神经网络里面……每个维度代表的现实意义都是不一样的，但是图片数据有多少个像素点就有多少个维度，所有维度都是同质的，它们的意义都一样，灰度/RGB值能体现出两种数据不一样。神经网络对这些特征进行就可以做出判断了。把它们输入到神经网络后，它们可以组合成更抽象的特征。
（2024，时控交叉注意力（T-GATE），缓存和复用交叉注意力图）交叉注意力使文本到图像扩散模型的推理变得麻烦
qq_44681809的博客
04-20 1680
T-GATE 发现​推断过程可分为依赖交叉注意力来使用文本引导的语义生成阶段和增强保真度阶段。在后一阶段忽略文本，可在保持模型性能的同时降低计算复杂度。基于此，T-GATE 在交叉注意力输出收敛后将其缓存，并在剩余的推理步骤中保持不变。
稳态视觉诱发电位 (SSVEP) 分类学习系列 (1) :FFT-CNN-CCA
走在深度学习前沿的小宋
04-24 1507
脑机接口（BCI）的一个关键问题是以异步方式检测有意控制（IC）状态和非有意控制（NC）状态。此外，对于稳态视觉诱发电位 （SSVEP） BCI 系统，IC 状态中存在多个状态（子状态）。现有的识别方法依赖于阈值技术，难以实现高准确率，即同时实现高真阳性率和低假阳性率。为了解决这个问题，我们首次提出了一种新型卷积神经网络（CNN）来检测SSVEP-BCI系统中的IC和NC状态。
Python轴承故障诊断 (19)基于Transformer-BiLSTM的创新诊断模型
11-19 1590
本文基于凯斯西储大学（CWRU）轴承数据，先经过数据预处理进行数据集的制作和加载，最后通过Pytorch实现Transformer-BiLSTM模型对故障数据的分类。
论文笔记-CATN：用于多变量时间序列预测的交叉注意力树感知网络
wwpwwpwwpemmm的博客
03-14 2214
论文阅读笔记
【CNN分类】基于S变换时频图和卷积网络(CNN)融合多头自注意力机制ST-CNN-MSA实现故障识别附matlab代码
m0_57702748的博客
03-26 1018
本文提出了一种基于 S 变换时频图和卷积网络 (CNN) 融合多头自注意力机制 (ST-CNN-MSA) 的故障识别方法。该方法利用 S 变换的时频分析能力提取故障信号的时频特征，并通过 CNN 学习故障特征的局部依赖关系。此外，引入多头自注意力机制对时频特征进行全局建模，捕捉故障信号中不同时间段和频率分量的相关性。实验结果表明，所提出的 ST-CNN-MSA 方法在故障识别任务上取得了优异的性能，优于传统的故障识别方法。
注意力机制与交叉注意力：理论、公式与实现
SimpleLearning
03-22 5171
在自然语言处理（NLP）和深度学习领域，注意力机制和交叉注意力是两种强大的技术，它们允许模型在处理序列数据时动态地聚焦于最重要的部分。本文将介绍这两种机制的数学原理，并通过代码示例展示如何在PyTorch中实现它们。
CNN（循环卷积神经网络）
热门推荐
weixin_38368941的博客
04-18 1万+
这篇博客是看微软亚洲研究院的王井东讲解CNN做的笔记，图片居多。30分钟的视频，我看+写用了2个小时，可以说干货满满。适合已经对机器学习，CNN有一定了解的人，但对于CNN实践环节还不太清楚或者是想对最新的研究情况做进一步跟踪。视频资源见链接：https://v.qq.com/x/page/s05667eq28w.html视频主要从四个部分讲述CNN：卷积神经网络的基本架构、神经网络的组成、如何学...
图像卷积的fft实现验证（python）
azheng_wen的博客
09-21 5412
１、Caffe的卷积操作时间主要在矩阵乘法，假设一个m*n卷积核，且输入通道数为１，输出特征图大小为h*w，则乘法个数m*n*h*w,这里的优化仅限于对矩阵的乘法优化，因此，只要选择适合的矩阵计算库就可以了。 ２、若使用FFT来计算图像卷积。其主要步骤如下。 假设输入图像的大小为len=h*w，卷积核大小k_len＝m*n；通常len>>k_len； 对输入图像A做FFT，其...
想在se注意力模块前面加fft怎么写代码基于pytorch
12-04
在PyTorch中，如果你想在自注意力（Self-Attention）模块之前应用快速傅里叶变换（Fast Fourier Transform, FFT），首先你需要导入必要的库，如`torch.fft`。以下是一个简化的例子，展示如何在一个简单的Transformer块中添加FFT步骤： ```python import torch import torch.nn as nn from torch.nn.functional import softmax class CustomAttention(nn.Module): def __init__(self, d_model): super(CustomAttention, self).__init__() # 其他自注意力参数... def forward(self, query, key, value, use_fft=True): if use_fft: # 将输入数据从时域转换到频域 query = torch.rfft(query, signal_ndim=1) key = torch.rfft(key, signal_ndim=1) value = torch.rfft(value, signal_ndim=1) # 自注意力计算过程... # 注意，由于FFT会对序列进行并行处理，这里需要调整矩阵相乘的操作，例如使用`softmax`之前需要将维度还原 attn_weights = ... # 使用softmax等计算注意力权重 weighted_value = ... # 根据权重计算加权和 if use_fft: # 将结果从频域转换回时域 weighted_value = torch.irfft(weighted_value, signal_ndim=1, onesided=True) # 可能还需要其他操作... output = ... # 结合前向传播的结果 return output # 创建模型实例并使用 model = YourModelWithCustomAttention() query = ... # 输入查询张量 key = ... # 输入键张量 value = ... # 输入值张量 output = model(query, key, value, use_fft=True) ``` 在这个示例中，我们假设已经实现了常规的自注意力部分，并且`YourModelWithCustomAttention`是包含自注意力模块的完整模型。注意，由于FFT会改变数据的维度，所以在计算注意力权重之前和之后都需要进行适当的转换。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值