IEEE TII | 论文速递！Multimodal Knowledge Graph：多模态知识图，用于滚动轴承故障诊断

最新推荐文章于 2025-03-11 15:33:17 发布

小天才学习机打游戏

最新推荐文章于 2025-03-11 15:33:17 发布

阅读量1.4k

点赞数 9

文章标签：知识图谱人工智能 microsoft 安全架构学习 r语言

本文链接：https://blog.csdn.net/m0_59164520/article/details/143085240

版权

本期荐读论文：

A Rolling Bearing Fault Diagnosis Method Based on Multimodal Knowledge Graph

本期推文的内容概要

本期推文将介绍一种多模态知识图（Multimodal Knowledge Graph）方法，在滚动轴承故障诊断的应用，这项研究发表于《IEEE Transactions on Industrial Informatics》期刊。

在当代工业中，诊断轴承故障至关重要，但这些故障的复杂性和多样性给传统方法带来了挑战。现有算法通常将复合故障视为独立事件，忽视了不同故障之间的相互关系，这限制了在诊断具有多样语义复杂性的故障时的性能。此外，利用多模态数据提高故障诊断准确性的研究较为有限。为克服上述弱点，提出了一种基于多模态数据（包括时间序列振动信号、频谱和数据集描述文本）的多模态知识图谱（Multimodal Knowledge Graph，MKG）构建方法。随后，设计了一种利用基于关系级联图注意网络的MKG补全模型的故障诊断方法，以捕捉各种故障之间的关系。在从七个轴承数据集中构建的MKG上的实验结果表明了所提方法的鲁棒性。

具体来说，论文的创新点主要有以下几点：

1）创新的故障诊断方法。以往研究忽视了属性关系，并通过为复合故障分配新标签来忽视故障类型之间的相互作用。提出了一种利用多模态知识图谱（MKG）进行轴承故障诊断的新方法。通过知识图谱补全技术捕捉不同故障类型之间的内在关系，促进对具有相似故障类型的故障值和实体的推理。这一方法在轴承故障诊断中具有重要的探索潜力。

2）推理能力的应用。在以往研究中，知识图谱（KG）仅在故障诊断中起到可视化的作用，而提出的方法则利用了KG的推理能力。它直接将振动信号作为节点来构建KG。在数据层，节点整合来自传感器的多模态数据，如时间序列和频谱图，丰富了它们的表示，并提供了轴承运行状态的整体视图，提升了KG的嵌入质量和故障诊断的精度。

3）KG补全模型设计。设计了一种基于关系级联图注意网络（GAT）的KG补全模型，结合了节点级和层级注意机制，以便在多种关系下为不同邻居和不同阶域邻居分配权重，促进信息聚合。提出的模型在七个故障诊断数据集上的准确性优于多个基线模型。

问题的背景

在现代工业应用中，轴承作为关键部件被广泛使用，其故障可能导致巨大的经济损失和人身伤亡。因此，故障诊断在保障工业设备安全中至关重要。尽管当前的故障诊断算法取得了一定进展，但它们往往孤立处理故障属性，并在处理复合故障时面临诸多挑战。这导致了分类准确性的下降，并限制了诊断方法在复杂故障场景中的有效性。

该方法解决的主要问题包括：

属性孤立性：现有算法通常将不同故障属性视为独立，忽视了它们之间的相互作用，这在复杂故障情境中影响了诊断效果。
样本收集困难：随着故障标签数量的增加，收集足够的样本变得更加困难，进一步影响分类的准确性。
知识图谱应用不足：尽管知识图谱在多个领域展现了潜力，但现有研究主要依赖文本数据，未能充分利用传感器收集的多模态数据，导致关键信息的缺失。
推理能力未充分利用：以往的研究多将知识图谱用于信息检索和可视化，而未充分发挥其推理能力来提升故障诊断的精度。

针对这些挑战，荐读的论文提出了一种基于多模态知识图谱（MKG）构建的轴承故障诊断方法，通过直接利用振动信号数据和多模态信息，增强了故障诊断的准确性和实用性，展示了知识图谱在复杂故障诊断中的应用潜力。

方法的概述

多模态知识图谱（MKG），与传统知识图谱（KG）类似，是一种用于表示和存储现实世界知识的图结构。它由表示实体或值的节点和表示关系或语义关联的边组成，通常以三元组的形式组织。目前的知识表示方法优先考虑关系三元组，而忽视了属性三元组。关系三元组传达实体之间的语义链接，而属性三元组则详细描述实体的属性，因此，区分这两者是至关重要的。因此，本文采用了包含实体、属性和关系的知识表示学习（KR-EAR）。KG包括关系三元组（实体、关系、实体）和属性三元组（实体、属性、值）。节点包含实体和值，而边则涵盖关系和属性。与传统KG不同，MKG不仅整合了文本数据的信息，还来自各种传感器和感知视角，为解释实体特征增添了多维度。MKG的构建过程包括知识提取、知识表示和融合。此外，由于MKG的内在不完整性，即特定节点或连接的缺失，因此需要采用MKG补全（MKGC）技术来进行推理。

本文将滚动轴承故障诊断转化为多模态知识图谱补全（MKGC）任务。整体框架如图2所示。图2将整体框架分为两部分：构建多模态知识图谱（MKG）和利用MKGC进行预测。构建过程包括知识提取和多模态融合，而预测过程涉及编码–解码框架。

图2 基于MKG的故障诊断框架

知识提取包括实体、关系、属性和价值的提取。具体而言，实体通过从振动信号中提取的四种模态进行表征。数值模态表示是通过滑动窗口方法直接获得的，而图像模态的表示则涉及将时间序列转换为频谱图像，并使用GoogLeNet进行预训练。关系、属性和值具有文本模态，其表示通过与Bert的预训练获得。随后，对实体的表示应用多模态融合，将所有模态表示分解为K个低秩权重张量并加上1，统称为低秩因子。这些因子随后进行Hadamard乘积，生成丰富多样信息的实体综合表示。MKGC用于推断未知知识。在本研究中，所提出的关系级联图注意网络（RCGAT）模型作为编码器，而卷积二维知识图谱嵌入（ConvE）作为解码器。这一配置使得能够为候选三元组推导分数，从而促进预测过程。

（一）基于信号的MKG构建方法

振动信号是轴承运行状态的重要指标。因此，直接从信号中进行知识提取。MKG的构建遵循语义规则。构建MKG的算法如算法1所示。

如算法1所示，初始阶段采用滑动窗口采样，其中每一步滑动窗口都将信号数据封装为一个独立的实体。具体而言，定义了窗口大小，将滑动窗口放置在信号数据的起始位置，并提取与指定窗口长度对应的数据。随后，按照预定的步长移动窗口，迭代执行此过程，直到窗口遍历整个时间序列。为了利用来自不同模态的信息，将来自N个传感器的振动信号预处理为两种模态：数值时间序列和经验模态分解（EMD）图像。因此，每个实体具有2N个模态表示。图像进一步通过GoogLeNet处理为向量表示。采用低秩矩阵分解（LMF）方法，将来自各种模态的信息整合为有效的表示，表示为e（偏置b在下文中省略）：

和en2分别表示模态的向量表示。因此，节点e表示为，其

是img1模态的第k个分解因子，其他w遵循类似模式。◦表示Hadamard乘积。

接下来，按照“知识提取”章节中提供的示例，提出的方法涉及将故障类型属性提取为属性，将故障类型值提取为值，并将实体之间的语义关系提取为关系，这些表示通过与Bert的预训练获得。在此过程中，由于故障类型值的数量可控，因此不需要复杂的自动化提取技术。由行业专家进行手动提取的任务不繁重，且能确保高精度。因此，采用了一种知识提取方法，由领域专家直接审阅数据集描述文本。

在知识提取和应用语义规则后，构建了一个基于信号的多模态知识图谱（MKG）。图3展示了使用Neo4j图数据库可视化的局部图。在该图中，紫色节点代表实体，指向它们的实心箭头表示关系，橙色节点象征值，指向它们的实心箭头表示相应的属性。由于名称过长而无法完全显示，节点使用ID进行表示。

图3 部分基于信号的MKG

（二）基于MKGC的故障诊断

MKGC的目标是预测候选三元组对MKG正确的概率。该方法可应用于基于信号的轴承故障MKG进行故障诊断。现有的技术目前忽略了不同阶域的不同重要性。提出了一种基于RCGAT模型的方法来解决这一问题。故障诊断流程图如图4所示。

图4 基于MKGC的故障诊断流程图

在图4中，通过输入构建的多模态知识图谱（MKG）作为G和超参数来启动该过程。这些超参数的含义在“超参数分析”部分中进行了阐述。随后，数据集被划分，参数被初始化。在此步骤之后，G中的节点进行多模态融合，然后输入到关系级联图注意网络（RCGAT）中。在RCGAT中，应用节点级和层级注意机制进行有效编码。最后，使用卷积二维知识图谱嵌入（ConvE）进行解码和候选分数计算；该过程以评估指标和损失的计算结束，并执行多次迭代进行更新。

尽管多模态融合有效利用了节点固有的多模态信息，但在聚合邻居信息方面仍然存在不足。为提高准确性，引入了RCGAT，它通过节点级注意机制具备自适应聚合邻居信息的能力。值得注意的是，与仅关注单阶邻居的RGAT不同，RCGAT通过层级注意机制整合多阶邻居信息。这种双重注意机制使模型能够有效捕捉图的拓扑结构，同时保留节点的内在特征。节点级注意机制促进了局部信息的聚合，而层级注意机制则适应不同阶层的邻居信息组合，并缓解了过平滑问题。这一方法展示了处理图数据的灵活全面的方法，从而有助于增强图表示学习。RCGAT的结构如图5所示。

图5 关系级联图注意网络(RCGAT)

在图5中，蓝色节点表示实体，粉色节点表示值，蓝色节点之间的连线表示关系，而连接蓝色和粉色节点的线则表示属性。在图中，节点e由实体和值的拼接形成，而边r则由关系和属性的拼接组成。

总结与思考

在推荐的论文中，为了捕捉振动信号与各种故障之间的结构和语义信息，通过从多个轴承振动信号数据集中进行知识提取和多模态融合构建了多模态知识图谱（MKG），并提出了一种基于RCGAT+ConvE的MKGC故障诊断方法，以通过考虑节点级和层级邻居权重分配来预测未知的故障知识。与几种基线模型相比，提出的方法表现出更优的性能。然而，基于振动信号构建MKG并将其应用于故障诊断的提案仅进行了初步探索，仍有进一步改进的空间。由于数据收集的挑战和硬件限制，提出的的MKG仅包含来自七个公开可用数据集的数据。此外，在多模态数据收集方面，仅使用了频谱图和时间序列数据。纳入实时图像和视频数据可能会增强模型的表达能力。因此，基于MKGC的故障诊断方法在拥有丰富数据的情况下有潜力带来更显著的收益。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述