论文精读：FCLLM-DT：利用大语言模型增强联邦持续学习，以支持基于数字孪生的工业物联网

Chronostasis0412

已于 2025-03-26 20:39:20 修改

阅读量1k

点赞数 14

文章标签：语言模型学习人工智能

于 2025-03-11 18:54:19 首次发布

本文链接：https://blog.csdn.net/nys0412/article/details/146186301

版权

一、问题背景（Why）

1.存在的挑战

修复异常数据，管理传感器故障，并增强隐私保护

大多数现有的研究都集中在基于异常数据的故障类型和原因分析上，但往往忽略了对传感器故障引起的误诊的预防。我们的方法解决了这一空白。

（1）机械传感器可能生成异常数据，导致模型训练的质量不佳;

（2）传感器故障可能导致连续数据流中断、数据丢失，在训练过程中无法快速连续地提供数据，从而阻碍模型训练，可能导致模型训练失败。

（3）为了优化模型性能，工厂通过联合其本地模型以形成全局模型来进行协作，可能会带来隐私泄露的风险。

二、解决方法（What）:FCLLM-DT

1.主要贡献

(1）通过将物理承载模型与Dynamic Bandit Tree（DBT）相结合，引入了一种用于修复异常感知的DT技术，主动提高了感知数据的保真度，从而优化了其对局部模型训练的适应性。

(2)提出了一种区域特定的RAG辅助LLM生成虚拟数据，利用历史传感器数据来构建RAG系统。这种方法确保了在传感器故障的情况下提供持续的传感数据流以支持持续学习。

(3)FCLLM-DT方案是通过DT、RAG辅助的LLM和FCL的集成而制定的。该方案基于DT和RAG辅助的LLM的数据改进。它采用FCL来促进高度准确的故障诊断模型的开发，同时确保跨分布式工厂的本地数据隐私的保护。

2.现有的诊断模型方法：相关工作

1.修复异常数据:DT数字孪生

应对的问题：工业上数据采集过程容易受到各种形式的干扰，这可能导致异常数据的产生，在后续应用中利用这些数据之前必须对这些异常数据进行严格的识别和补救，以确保数据的完整性和可靠性。

现有方法存在的问题：在许多领域，特别是时间序列数据中，识别和替换异常是可行的。同时，他们提出的异常处理方法通常是特定于特定领域的，同时，异常校正方法通常依赖于异常的上下文或数据的统计特征，当异常数据段较长时，可能会损害估算数据的真实性

解决方法：

DT通过接收传感器数据，在人工智能、机器学习和数据分析的帮助下，在数字空间中映射物理实体。随着数据的接收，DT随物理实体的变化而变化[41]，DT在运行维护、故障检测等方面有很好的应用，

对于大型机械中的隐形键轴承，可以使用DT来模拟隐形轴承，这有两大好处：1）故障识别精度更高。2）通过DT监测运行状态，无需拆卸大型机械的关键轴承。

2.解决传感器故障导致的数据丢失问题:RAG增强LLM数据生成

现有的不足：

当连续生成数据时，LLM更容易出现幻觉问题，导致生成的内容偏离现实。这个问题在需要连续生成数据来修复异常的轴承数据中变得更加重要。

数据主要以时间序列格式组织，探索RAG用于生成此类数据的研究仍然相对欠发达。

解决方法：

与GAN框架相比，RAG结合LLM在需要整合大量外部知识和最新信息的任务中具有优势。RAG适用于处理复杂和高度互联的数据集，以及探索数据集内更深层次的关系，特别是在多层分析和推理方面，它可以显著提升LLM对问题的理解及其答案的精确性。

引入了RAG，作为一种通过集成外部知识源来增强LLM能力的技术。RAG通过引用补充信息来增强LLM性能，从而促进更准确和上下文适当的响应的生成。

3.实现工厂区域间的交互：IIoT中的联邦持续学习FCL

现有的方法：

在工业物联网的轴承故障诊断任务中，FL被用于解决工业协作分布式计算中的数据孤岛问题和隐私问题。然而，这些方法在非独立同分布的数据集上的性能仍然会受到影响，同时，当客户端需要对一系列非独立同分布的任务进行学习时，现有的联邦学习方法无法保留数据流上先前任务中学习到的知识.

解决方法：

FCL：其特征在于在延长的学习周期内连续聚合模型参数，需要用新数据更新模型，而不需要一致地访问历史数据和先前获得的知识。

三、实现过程（How）

1.系统框架

(1)Bearing DT组件模拟工厂内生产运行过程的物理模型，Bearing DT模拟轴承数据的运行机制，建立一一对应关系。当设备传感器输入异常数据时，Bearing DT将物理模型与DBT集成，提高用于局部模型训练的传感数据的精度和质量。

(2)RAG系统使用历史感测数据构建，并在传感器故障的情况下帮助在线LLM动态生成虚拟数据。RAG系统将此生成的数据传递给DT，使DT能够在各种操作条件下向本地模型提供连续的数据流。

(3)FCL中的本地模型可以对DT细化的数据进行训练，并由RAG辅助的LLM生成。本地模型利用边缘服务器的计算能力，并经过训练以适应各个工厂的独特运营特征。随着新数据的出现，本地模型不断从中学习，适应不断变化的数据分布，并在联合聚合过程中将其更新贡献给全局模型。

在系统的操作工作流程中，传感器将收集的真实世界数据传输到DT模块和RAG-LLM模块，以构建轴承的DT并为LLM提供数据支持。当在传感器数据中检测到异常时，DT向RAG发起请求以基于异常数据的上下文生成数据，促进预测数据修复。DT连续地提供数据用于在边缘处训练本地模型。各种客户端的本地模型与全局服务器通信，通过联邦持续学习来适应和学习新任务，从而实现对连续数据流的故障诊断。