关于故障诊断的一些事-答知乎问（四）

利用深度学习模型进行机械故障诊断技术的难点是什么？

除了严格的可解释性之外，还有

1.很多机械设备经常运行在转速多变、载荷冲击、噪声淹没的恶劣工作环境之下，振动监测信号内包含了多种故障频率成分和背景噪声信息，是一种非常复杂的非稳态时序信号。如果深度学习模型直接以原始振动信号为输入，强烈的背景噪声会极大程度地影响模型提取有效故障特征的效率，造成诊断精度的下降；而振动信号的时变特性对模型泛化能力提出了更高的要求，让诊断方法在面对未知工况时的可靠性难以保证。因此有必要结合故障诊断领域内的专业知识，研究出行之有效的信号预处理手段，减轻深度学习模型在特征提取和模式识别上的压力。

2.直接以原始振动信号为输入时，深度学习模型的诊断性能容易受到影响，而辅以信号分析方法预处理振动信号时，预处理方法的优劣会限制故障诊断的最终性能。为了解决这一矛盾，有必要研究出能够集成预处理手段的端到端滚动机械设备故障诊断方法，在深度学习模型内部实现对原始信号的预处理过程，既可以减轻深度学习模型提取故障特征和识别故障模式的难度，又能改善诊断方法不同处理步骤之间的协调性和自适应性，提升基于深度学习的机械故障诊断方法的最终诊断性能。

3.在实际故障诊断应用中，单个振动传感器受安装位置有限、信息传递衰减、背景噪声淹没等不利因素的影响难以准确地表征出机械设备的全面故障信息，需要借助多个传感器信息获得更精准、可靠的故障诊断结果。而多个振动传感器捕捉的数据之间包含着大量冗余信息，不利于深度学习模型实施有效的特征捕捉。因此，有必要研究可以解决多源信息冗余问题的深度网络结构，以增强模型自适应捕捉判别性特征和过滤无用噪声特征的能力，从而实现深度学习诊断模型在输入信息更准确全面条件下的性能进一步提升。

如何对傅里叶变换进行改进使其具有自适应性？

可以从从共振解调的思想出发，引入各种频带熵分析确定敏感频带，从而改进傅里叶分解的边界频率搜索方式，使分解具有完备性、局部性、自适应性和正交性。频率边界的准确性对传统傅里叶分 解结果有着决定性影响，而边界频率搜索极易受背景噪声干扰。同时，傅里叶分解从高频到低频或者从低频到高频的边界频率搜索方法在处理多分量信号时计算量较大，严重影响效率。因此， 基于各种频带熵分析的边界频率搜索方法具有较好的应用前景。

一维信号如何转化为三维图像？

可以做三阶累积量三维图变换

利用三阶累积量抑制高斯噪声的先天特点，采用三阶累积量对一维信号进行分析，生成抑制噪声后的灰度图像。以发动机振动信号为例，时域信号及相应的功率谱如下

振动信号的三阶累积量三维图如下

使用小波包变换作为卷积神经网络输入的优势是什么？

使用小波包变换将信号转为小波包系数矩阵有以下两个优点：首先，卷积神经网络可以同时提取矩阵中的时域和频域特征，且频率相关特征对工况条件的变化具有较强的鲁棒性；其次，该矩阵将信号的信息分离到单独的频带中，降低了分析信号的整体复杂度，每个频带内的一系列小波包系数由于包含较少的信息，其特性比原始信号简单，因此提取频带内和频带间的特征要比直接从原始信号中提取特征容易得多，有助于提高模型的诊断性能。

将小波包系数矩阵输入卷积神经网络时要注意什么？

小波包系数矩阵与灰度图片在尺寸格式上有很高的相似性，适用于图像分类的卷积神经网络是针对图片的特性设计的，而小波包系数矩阵中元素包含的信息与灰度图片存在差异，所以卷积神经网络的结构也应当相应地改进才能保证分类性能的最大化。

灰度图片中的元素为像素值，横轴和纵轴共同表示了像素的坐标位置；而小波包系数矩阵中的元素为小波包系数，其横轴表示系数所处的当前时段，纵轴表示系数所处的频带范围，如下图所示。

不同轴承状态下小波包系数矩阵中的系数均在处于同一行或同一列时具有较高的相关性，因为它们包含了信号在特定频带或时间区间下的变化规律，但不同行与列之间的系数没有明显联系所以相关程度较低。这与灰度图片的情况不同，在灰度图片中相邻的像素在不同方向上具有基本相同的相关性，可以共同组成斜线、折线、圆弧等，也因此卷积核的尺寸可以被设置为正方形。反观小波包系数矩阵，则需要更加合适的卷积核尺寸来针对性地充分提取系数中的信息。

从小波包系数矩阵的矩形局部区域提取时频域特征时，卷积核的形状会影响到提取信息的内容，细而长的卷积核倾向于提取与频率相关的特征，而粗而短的卷积核倾向于提取与时间相关的特征。此外，卷积核的形状也会影响提取信息的质量，很直观的想法是，只有捕捉到更多相关性高的系数，卷积核获得的特征才更加灵敏。由于输入矩阵中捕获到的信息主要随系数之间的相关性而变化，相比于只关注某一级最敏感的相关信息，在模型中引入多级的相关信息可以带来更好的性能收益，因为它可以加倍地丰富输入信息并扩展高维特征空间，有利于实现更精确的分类。此外小波包系数矩阵中的重要信息主要分布在某几行或几列相邻的小波包系数中，其余的大都为噪声信息的干扰。为此，设计异形的卷积核尺寸相比于增大卷积核的正方形尺寸对小波包系数矩阵而言更有利于实现特征的高效提取。

小波包变换与卷积神经网络层的联系是什么？

将信号进行小波包分解的过程本质上是一个小波函数的低通、高通滤波器与数字信号之间进行卷积运算的过程，这里的卷积运算有别于卷积神经网络层中的“卷积”操作，是数学定义上的运算操作，这点在很多文章中都有体现。下图举例说明了在卷积神经层和数学定义中卷积操作的异同。从图中可以发现，通过反转卷积核的权值顺序，两者之间的卷积操作可以很容易地进行切换，如果将图(a)中卷积核参数的位置进行翻转，将K3处在原先的K0的位置，K2处在原先的K1的位置，K1处在原先K2的位置，K0在原先的K3的位置，那么图(a)中的卷积结果便会等于图(b)的结果，反之亦然。在了解卷积神经网络层能以翻转卷积核参数的方式实现数学意义上的卷积运算后，很自然地联想到可以利用一维卷积神经层来实现对输入信号的小波包变换。

考虑到小波包变换与卷积神经网络层在实现细节上的相似性，可以构建一种特殊的卷积神经网络层，来实现原始信号在分类模型内部的时频域转换。将小波包变换以卷积层的形式植入神经网络结构中的目的不仅是为了提高分类方法的整体性和可植入性，更是考虑到卷积层能够通过梯度反向传播算法自主训练，从而赋予时频域分析方法自适应诊断任务、提升分解质量、增强与分类模型的适应度等重要能力。

小波包系数是通过信号序列与两个小波滤波器进行卷积运算获得的，现假设已经选定好了一个小波函数，并且它的小波滤波器系数的长度为2 ，则一个单层的小波包变换可以下图形式实现。

为了实现图中的多层小波包变换过程，需要将图上图中的一维卷积层改成递归一维卷积层的形式，即不断地将原始输出重新反馈回卷积层结构中，并不断生成下一层分解系数。

当信号需要进行p层的小波包分解时，一维卷积层的递归次数要设定为p次，上图中的递归一维卷积层每次运算后的输出数量都会变成输入数量的两倍，这点与常见的递归卷积层不同，但并不额外增加编程实现的难度。

知乎学术咨询：

哥廷根数学学派 - 知乎

工学博士，担任《Mechanical System and Signal Processing》等期刊审稿专家，擅长领域：现代信号处理，机器学习，深度学习，数字孪生，时间序列分析，设备缺陷检测、设备异常检测、设备智能故障诊断与健康管理PHM等。