【知识图谱应用】Tele-Knowledge Pre-training for Fault Analysis (论文笔记)

文章概述

• 文章关键词：电讯，模型预训练，知识图谱，数字编码，故障分析
• 内容：故障分析是电信应用一个非常关键的任务，解决这个任务需要各种不同的电信-知识。这些电信知识大多由计算机日志数据、产品文档以及专家提供的其他电信知识组成。文章构建一个电信知识图谱用于统一组织来自专家们的其它电信知识并提出一个带电信领域的预训练模型KTeleBERT以及它的知识增强版本(包含有效的提示，自适应数字编码和两种知识注入范式)。

研究背景

• 故障直接影响通讯网络的可行性和有效性，可能造成运营公司维护时产生巨大花销。因此消除故障和避免产生故障对于运营公司非常重要。
• 故障分析是一个包含很多子任务的复杂任务，需要大量电信知识例如网络结构以及产品依赖。
• 上述知识随着科技发展逐渐分布到机器日志（记录异常事件），产品文档（事件加粗样式描述，故障原因，具体问题的解决方法）以及专家（工程师）的经验知识（故障类型及分类等不同类型的知识）

研究方法

研究步骤

• 为了获取专家（工程师）的经验知识，文章构建了Tele-KG（图2）用于背景知识图谱以及提供故障分析约束。
• 由于对于三种知识不能很好的分步应用，论文提出将三种知识一起做预训练用于故障分析的下游任务
• （预训练准备）预训练开始前，观察到机器日志是序列化知识，产品文档由自然语言表示，Tele-KG属于半结构化知识。不同类型，不同源的知识会分散模型学习的有效性，为了解决这个问题，论文参考了prompt engineering用于模态统一并提供了相关的templete hints用于形式统一。
• （预训练准备）为了学习到通用的数字特征，论文提出了一种自适应的数字编码器ANEnc用于专注名称的数字编码。
• （预训练准备）考虑到三种知识的不同体量，对于多层级的知识获取采用多阶段训练模式：（TeleBERT）第一阶段根据ELECTRA预训练范式以及数据增强方法SimCSE预训练2000万tele-corpus（product documents）文本；（KTeleBERT）第二阶段提取构成包含因果关键词的因果关系的句子并且利用数字相关的机器日志数据与TeleBERT一起重新训练。
  

预训练

• 预训练的语料由所有的产品文档，知识图谱中的实体描述，以句子的形式组成。
• 预训练语料整合：获取采用了两种形式的数据增强,（明确的数据增强）-选取一系列段落(在相同文档中相邻的句子)拼接以扩展数据集并组成2000万的句子用作最终的预训练数据（Tele-Corpus）；(模糊的数据增强)-根据SimCSE，利用dropout策略引入噪音以增强模型的健壮性。
• TeleBERT :与MLM相似，每个句子头部加上[CLS]，尾部加上[SEP]喂给模型；用预训练语言模型MacBERT作为骨架，使用一个通讯领域的词典用作整词切分在预训练TeleBERT时采用整词掩码(WWM)策略；对于句子向量简单的对比学习用于缓解大模型表示学习的塌陷问题。ELECTRA预训练范式用于增加预训练的复杂性，掩码语言模型生成器用于掩码重建使得TeleBERT成为一个具有自我监督目标取代token检测(RTD)的判别器。TeleBERT的构建致力于使得PLM理解通讯领域的基本语义知识。
• KTeleBERT: 设计规则并处理多模态数据用于重新训练TeleBERT。提出一个在每层的数字数据模块包含数字编码，数字解码，标记分类器；考虑了掩码重构的不同策略，最后引入我们的方法用于显式知识注入，并且引入训练policy用于任务整合（图一）。
• 专家知识注入：为了增强预训练语言模型在模糊推理方面的能力，文章引入文本增强知识嵌入用于通讯专家知识注入。使用提示模板将实体/属性，关系包装成句子的形式，在使用KTeleBERT编码头实体，关系，尾实体用作他们的嵌入。

应用

1. 根本原因分析：自动找到通讯系统中发生各种异常事件的起因
2. 事件联合分析：构建基于深度学习的算法预测事件之间的触发关系，从而快速挖掘故障模式，通过事件检索追踪最终找到故障发生的根本原因
3. 故障链追踪“：一些坏掉的设备可能导致一系列故障的发生，自动追踪设备故障找到最根本的故障原因称之为故障链追踪

Root-Cause Analysis

• 任务描述：将根本原因分析作为图的一个节点排序问题，$X{\in }_R^{|V|\ast n}$，$X_{ij}=3$表示异常事件$j$在网络元素$i$上发生了$3$次。实际应用中，分析者们会收集每一个时间槽包含异常事件的所有信息，我们将特定时间槽的通讯系统称为一个state，文章设计一个模型$f$ 将通讯系统的state映射为节点的分数向量，具有最高分数的节点就是需要找到的根本原因。
• 实验方法：使用KTeleBERT获取异常事件的表示，使用每个节点异常事件的表示和各个节点异常事件发生的次数得到每个节点的向量表示作为图卷积神经网络(GCN)的输入， 最终图节点的表示通过GCN获得输出再通过两层MLP计算出最终节点的分数。
  

Event Association Prediction

• 任务描述：提出一个触发器关系的具体空间，事件在这个空间中被表示，这些被嵌入事件之间的相似性被度量用于预测目标事件对之间的触发关系。
• 实验方法:1.表示事件-文本形式表示的事件，字面名称揭露了类似单词共现矩阵的一些故障模式；网络的拓扑结构表明两种事件所在的网络元素是近邻的情况下更可能具有触发关系；事件的日志数据例如发生时间反映了造成故障事件的运行上下文。2.具体实现-将目标事件对使用KTeleBERT得到事件的表示；编码事件依赖的网络拓朴环境，使用sum pooling整合拓扑features；对于来自日志数据中两种事件的共现次数，计算和编码两种事件序列特征的时间差；最后拼接这些向量作为输入事件对的最终表示。3.学习相似性-学习输入事件对之间的相似性与非相似性。
  

Fault Chain Tracing

• 任务描述：输入是故障预警网络，包含许多不完备的故障链，找到根本原因的关键点在于完善故障传播链。
• 问题建模：将任务考虑为一个知识图谱完善任务，通讯网络可以被表示为多元异质图；故障链传播路径完善问题可以被看作是一个知识图谱完善当中的链接预测任务。这个任务的目标就是设计一个模型完善这些不完整的故障链。
• 实验方法：1.Rule Lightning-实际的通讯网络十分复杂，因此第一步是过滤掉不相关的警告和网络元素。2.Initialization of Pre-training Knowledge-使用KTeleBERT对过滤后的节点进行编码得到更具信息量的嵌入。3.Training and Prediction-为了建模概率知识，我们利用了针对不确定知识图谱的一个基于泛化翻译的方法，使用特定的范式用于概率性知识表示学习。最终将得到的表示用于预测不完整路径的缺失链接。
  

小结

整篇文章的亮点：

• 给出不同模态数据的使用，训练方法，具有很好的参考意义
• 给出很多提升知识表示的方法，包括数字编码，明确知识增强，模糊知识增强方法
• 给出不同问题建模思路，节点排序，相似度学习，链接预测，具有很强的实操性