Heterogeneous hypergraph learning for analyzing surface defects in additive manufacturing process

用于分析增材制造过程中表面缺陷的异构超图学习

由于增材制造（AM）过程中表面质量受到多种因素的影响，且这些因素之间的关系十分复杂，难以表征和控制。 随着图表示的快速发展，图已成为表示复杂关系的流行方法。 相应地提出了许多嵌入学习方法来提取信息并发现新的关系。 因此，本文提出了一种新颖的异构超图学习框架来学习嵌入并重建图以进行 AM 过程分析和优化。 在该框架中，增材制造实验数据集用于生成异构超图。 因此，提出了一种新颖的异构超图嵌入学习方法exp2vec来获得图的低维表示，其中添加超边嵌入以提高嵌入学习性能。 这些嵌入被输入到一个生成模型中，称为带校正的变分图自动编码器（VGAE-Corr），以重建用于链接预测的图。 对 AM 的异构超图进行了一系列实验。 结果表明所提出的模型在链路预测性能方面的优越性。 案例研究表明，新模型具有表面质量分析和工艺优化的能力。

1.[4]提出了一种新颖的激光金属沉积开源工具包，名为OpenLMD，它为在线多模态监控和过程控制提供了一个虚拟平台。Papacharalampopoulos等人[11]提出了一种基于实时同轴激光的工艺质量评估框架。他们将物理模型和经验模型相结合来估计温度场的变异性 尽管这一领域受到了很多关注，但他们只能根据实验结果探索明确的关系。 然而，许多我们从未注意到的隐含关系可能会影响表面质量。 为了填补这一空白，本文提出了一种探索增材制造过程中隐含关系的方法，以进行质量分析和过程优化。

2.图是表示各种现实场景中复杂关系的强大工具， 由于简单图中的每条边只能连接两个节点，因此它无法描述网络中的高阶相关性。 为了解决这个问题，设计了一个超图，其中每个超边可以连接到两个以上的节点。 为了提取超图中的信息，嵌入学习是将大规模网络映射到低维向量的基本任务，并且具有许多有用的应用，例如节点分类[18]、聚类[19]和链接预测[20]  。 链接预测是通过利用已知关系来推断新关系的任务，引起了研究人员的高度关注。 陈等人  [24]开发了一种用于跨平台锚链接预测的新颖框架。 它是一个通过简单 GCN 和超级 GCN 学习嵌入的多级图卷积网络（GCN）。 在两个社交网络上进行的实验评估了所提出模型的性能。 因此，基于嵌入学习的方法是图链接预测的有前途的解决方案。

3.为了从增材制造的实验数据中发现未知关系，以分析表面质量和优化工艺，提出了一种新的异构超图学习框架，该框架基于增材制造工艺数据建立异构超图，并开发了超图嵌入学习框架，以探索增材制造过程中的隐含关系。在超图中，每个实验都被假设为连接一个实验期间的主要因素的超边，包括工件，工艺参数，缺陷，材料和表面质量。一种新型实验嵌入学习模型（名为exp 2 vec）用于将图编码为低维向量。将实验嵌入作为节点特征和图的结构传递到一个改进的无监督链接预测模型VGAE-Corr中，基于图卷积网络重构图，进行链接预测。

4.超图学习是探索数据之间的高阶校正，并应用于许多应用，例如3D视觉分类[25]、流量预测[26]、兴趣推荐[27]、企业信用风险评估[28]和虚假新闻检测[29]。 根据超图节点类型的数量，超图学习方法可以分为同质超图学习和异构超图学习。网络嵌入方法的目的是将边缘特征映射到低维空间中，然后重构图以供后续任务使用。为了从图形中获取丰富而具体的信息以用于定制的任务，主要有两个研究方向。一种是设计邻近度来建模节点关系，另一种是建立一种方案来组合不同类型的信息。

5.在这一部分中，我们首先给出了AM的异质超图中主要概念的定义。具体来说，我们设计了一个新的超边缘模式来描述AM过程中的关系。在此基础上，提出了HHAM的超图学习框架，该框架包括数据集收集、基于实验的超图生成、嵌入学习、图重构和链接预测四个模块。最后，给出了数据预处理过程和实验设置.

为了学习 HHAM 的嵌入并进一步发现过程元素之间的关系，提出了一种超图学习框架，如图 3 所示，该框架由四个阶段组成，即（a）数据集收集，（b）超图生成 ，(c) 嵌入学习，(d) 链接预测。 在数据集收集阶段，根据定义3.2收集每个工件的相关工艺元素。 除材料外，还可直接获得工艺参数和表面粗糙度。 缺陷的类型、尺寸和数量等特征是通过[50]提出的基于CenterNet的缺陷检测方法获得的。 使用扫描电子显微镜（SEM，Hitachi TM3000）和 3D 光学轮廓仪（ZYGO，Zygo 的 Nexview™ NX2）来捕获缺陷图像和表面粗糙度测量。

6. 在超图生成阶段，工件被视为实验标识符，通过生成算法生成基于实验的超图[44]。 它将边集作为输入，并根据节点与每个实验的关系来组织节点。 可以获得实验矩阵用于进一步的嵌入学习。在嵌入学习阶段，提出了一种实验嵌入学习方法exp2vec来学习节点嵌入。 以实验矩阵为输入，使用编码器-解码器网络将高维实验矩阵映射为低维向量，视为实验嵌入。 然后通过对实验嵌入进行平均来确定节点嵌入。 在最后阶段，提出了一种带有校正的变分图自动编码器（VGAE-Corr）方法来生成图并预测节点之间的关系，其中节点嵌入作为具有图结构的节点特征并输入到 编码器来学习图的潜在表示。 此外，基于节点嵌入的重构图被添加到重构图结构中以增强预测性能。 计算解码器生成的图与原始图之间的损失并将其传播回来以更新网络的权重。 最后，训练好的模型可以用来进行链接预测。

7.对所有这些数据进行预处理以获得边缘列表文本。整个数据准备过程如下图所示，采用数据预处理方法生成超图。

8.在HHAM上进行了一个案例研究，以解释超图学习如何有助于表面质量分析。在传统的工艺分析中，要进行表面质量的检测，必须进行一系列的AM实验，然后进行相应的表征，这依赖于先进的测量设备。另外，这些实验结果之间的关系需要用拟合算法来分析。这些程序是耗时和劳动密集型的。在我们的研究中，根据所建立的超级图表，我们可以很容易地找到与比表面质量相关的最有效的因素，这可以避免尝试和错误。如图8所示，预测了s1和p8之间的新关系（红色虚线）;这里表面粗糙度等级1（共7级）表示最小的表面粗糙度，而扫描速度等级2（共8级）表示非常低的扫描速度。这种关系表明，相对较低的扫描速度可能有助于制造高质量的表面。在作为实验中使用的AM技术之一的选择性激光熔化过程中，高能量密度可以在工艺窗口中产生高质量的表面[59]。这样就可以得到高质量的表面。这与我们预测的结果一致。结果表明，该模型可用于分析表面质量，并提供优化建议。

9.提出了一种用于增材制造质量分析的异构超图学习框架。提出了一种新的异构超图嵌入学习方法exp 2 vec，通过编码器-解码器网络将高维实验矩阵和超边邻接矩阵映射到同一个低维空间。将这些嵌入图作为节点特征输入到校正变分图自动编码器中，以进一步提取图特征并重建用于链路预测的图。在HHAM上进行的一系列实验表明，该模型在所有指标上都具有更好的链路预测性能。没有节点特征的模型取得了最好的结果，AUC为0.8724，AP为0.8491。最后，通过实例验证了该方法的有效性，预测结果与AM的能量函数吻合较好，表明该方法可用于表面质量分析和工艺优化。在未来，有两个研究方向可以探索。在数据集方面，可以涉及更多不同的AM工艺因素来扩展超图，例如温度信息，机械性能，熔池特征等。此外，更多的实验数据集可以包含在此图中，以便更精确地控制过程。在模型方面，可以探索跨模态对齐实现模块，更好地集成各种类型的数据。此外，结合其他来源的现有知识，如期刊论文，公共数据集和网站，可能有助于超图的增长，使其能够提供更全面的信息。