IEEE TSMC | 深度好文！结合数据驱动与模糊表达策略！DKIL：数据-知识驱动的归纳学习方法，用于废水处理过程的建模_knowledge and data-driven hybrid system for modeli-CSDN博客

本文链接：https://blog.csdn.net/m0_59164304/article/details/146051409

Data-Knowledge-Driven Inductive Learning Method for Modeling Wastewater Treatment Processes

本期推文的内容概要

本期推文将介绍一种基于数据-知识驱动的归纳学习方法（Data-Knowledge Driven Inductive Learning, DKIL），这项研究发表于《IEEE Transactions on Systems, Man, and Cybernetics: Systems》期刊，用于废水处理过程的建模。

在废水处理过程中（WWTPs），数据和知识被用来构建有效的模型，以监控其运行。然而，由于二者的异质性，数据和知识的融合非常困难，这使得提供统一且可靠的解决方案成为挑战。为了解决这个问题，荐读的论文提出了一种基于数据-知识驱动的归纳学习（DKIL）方法应用于WWTPs。首先，提出了一种基于模糊的表达策略，用于描述WWTPs的操作状态。该策略结合了可用数据、约束知识和语义知识，为建模过程提供支持。其次，设计了一种异质同化机制来集成数据和知识，该机制通过融合操作支持它们的交互，形成统一方案。第三，开发了一种协同优化算法，用于提取WWTPs的操作特征。该算法通过利用误差信息和语义知识更新参数，从而提高建模性能。在实验中，结果验证了DKIL方法能够有效地对WWTPs进行建模。

论文的创新点主要有以下几点：

提出了基于模糊的表达策略（Fuzzy-based Expression Strategy，FES），用于从原始信息中实现底层规律的统计。与单一信息相比，它能够全面描述WWTP的各种场景。与现有文献不同，提出了多种类型的模糊规则，将WWTP的过程数据和自然语言（知识）转化为可识别的机器语言，基于它们的表示形式；
设计了一种异质同化机制（Heterogeneous Assimilation Mechanism, HAM），用于整合从FES中得出的不同类型的模糊规则，帮助统一模型吸收多源信息。借助HAM，连续数据和开关类型的数据通过S-范数进行融合，同时数据和知识之间的相关属性可以通过模糊规则之间的互动进行挖掘；
在DKIL中嵌入了一种协同优化算法（Collaborative Optimization Algorithm, COA），以同时调整前提参数和融合权重。与现有的数据驱动和知识驱动方法不同，语义知识和模型输出的标签作为参考，用于实现DKIL的监督学习过程。

问题的背景

近年来，WWTPs的建模方法多样，涵盖了机制驱动模型、数据驱动智能技术、以及数据与知识驱动的混合模型等。机制驱动模型常用于分析WWTPs的生物化学和化学反应，但由于需要许多假设和参数校准，这些模型在实际应用中往往表现不佳。为了克服这一问题，研究人员发展了基于数据驱动的智能技术来建立处理过程模型，如利用反向传播神经网络（BPNN）预测氨氮去除率等。然而，数据中包含噪声和不确定性，可能导致这些模型的鲁棒性较差。为解决这一问题，引入了模糊逻辑规则的在线软件传感器，以处理不确定性。另外，知识驱动方法也被提出，以补充数据不足的问题，尤其是基于数据和知识驱动的模糊神经网络（DAK-FNN）。该方法结合迁移学习实现了实时数据与历史信息中知识的同时利用，显著提升了在线预测精度。然而，这些方法大多忽略了数据和知识之间的耦合关系，可能导致建模结果不一致且不可靠。因此，研究者们提出了一些混合系统，综合考虑数据的时空信息和生物反应信息，并通过迁移学习将动态知识和过程数据融合，但这些方法仍然存在数据与知识之间的不一致问题。

荐读论文解决的主要问题包括：

对假设和参数的依赖：许多机制驱动模型需要基于假设和参数校准，这使得模型在实际废水处理厂中可能无法有效地反映真实情况，影响模型的预测准确性；
数据的完整性和噪声问题：数据驱动的方法通常假设数据是完备且无噪声的，但在实际应用中，废水处理厂的数据常常存在噪声或不完整，导致模型表现出低鲁棒性和较差的预测性能；
知识和数据的整合问题：虽然一些方法尝试结合数据和知识来改善建模性能，但它们通常仅在初始建模阶段使用知识，缺乏在训练过程中的有效引导，导致模型可能出现不一致或不可靠的结果；
模型对不完备数据的适应性差：尽管一些方法（如基于知识的混合建模）试图应对数据不足问题，但当数据不完整时，模型的近似性能往往变差，无法充分利用现有数据进行准确建模。

针对这些挑战，荐读的论文提出了一种基于数据和知识驱动的归纳学习方法（DKIL）。该方法充分结合了数据和知识，显著提升了废水处理厂建模的识别性能。

方法的概述

荐读的论文提出的DKIL的框架图如图1所示。首先，设计了一个模糊表达策略（Fuzzy-based expression strategy，FES）来提取废水处理厂中的可用数据和知识，并将其表示为模糊规则，以描述废水处理厂的运行状态。接着，通过异质同化机制（HAM）将不同类型的模糊规则融合，实现数据与知识之间的互动。最后，通过协同优化算法（COA），更新前提参数和融合权重，从而实现对废水处理厂的精准监控。

图1 数据-知识驱动的归纳学习方法的示意图

（一）基于模糊的表达策略

在荐读的论文中，设计了模糊表达策略（FES）以全面描述废水处理厂的运行状态。它利用模糊规则来表达来自废水处理的数据和知识。所提出的FES将在以下部分进行详细描述。

_1）可用数据：_连续数据被设计为Takagi–Sugeno模糊规则。第p条模糊规则表示为：

其中，和分别表示第m个变量和第m个模糊集合。yp(t)是输出。p=1,…,K，其中K是连续数据的模糊规则数量。使用模糊规则，运行变量表示为：

其中，q=1,…,K。在第q条规则中，un(t) 是第n个具有开关类型数据的变量，是第n个集合，其值为{0}或{1}，而 yq(t) 是输出。对于开关类型数据，"开"表示为1，"关"表示为0。

2）约束知识：在废水处理中，约束知识指的是对总氮（TN）去除范围的约束。它可以通过Mamdani模糊规则来描述，公式为：

_3）语义知识：_在废水处理中，语义知识是指总氮（TN）去除与输入变量之间的关联。它通过Mamdani模糊规则来定义。

其中，和是与总氮（TN）去除量正相关和负相关的连续数据变量集合，分别对应于正向和负向关系。和是与总氮去除量正相关和负相关的开关类型变量集合，分别对应于正向和负向关系。

**（二）**异质同化机制（HAM）

为了实现数据和知识的协同利用，采用了异质同化机制（HAM）在特征层面上对它们进行融合，从而提供了统一的建模方案。在废水处理厂（WWTPs）中，由于连续数据受开关类型数据的影响，它们并不是相互独立的。因此，采用S-范数将这两种类型的数据进行融合。

其中，yk(t) 是第k条模糊规则的输出，k=1,2,…,K。隶属函数用于反映模糊描述的解释，它们定义为：

其中，和分别是中心、宽度和系数。其中，连续数据对应的隶属函数被设计为具有连续性和平滑性的高斯函数。而开关类型数据对应的隶属函数则被设计为单调函数，因为它表示的是操作变量。

（三）协同优化算法

为了提取废水处理过程的操作特征，提出了协同优化算法（COA）来更新参数，从而改善近似性能。在COA中，数据和语义知识被用来指导学习过程。

（四）数据-知识驱动的归纳学习方法

为了避免废水处理厂（WWTPs）建模效果较差，采用数据-知识驱动的归纳学习方法（DKIL）以实现高精度的预测结果，因为它能够充分提取WWTPs的操作特征。表示数据的模糊规则用于计算DKIL的输出。来自约束知识的模糊规则用于约束输出。来自语义知识的模糊规则则用于指导DKIL的学习过程。DKIL的实现过程见算法1。

总结与思考

在推荐的论文中，开发了一种数据-知识驱动的归纳学习方法（DKIL）来建模废水处理厂过程。通过提出的DKIL，可以利用可用数据、约束知识和语义知识来实现高效的监控性能。使用DKIL，这些数据和知识可以被收集和表达，以描述废水处理厂的操作状态。同时，采用异质同化机制（HAM）融合数据和知识，有助于实现数据和知识的协同利用，从而提供统一的解决方案。因此，DKIL比单一信息驱动的方法更适用于废水处理厂。然后，基于协同优化算法（COA），通过可用数据和语义知识对模糊规则的前提参数和融合权重进行优化，从而提高近似精度。最后，实验结果表明，DKIL是一种有效的监控方法。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述