IEEE TPS | 值得收藏！清华大学孙宏斌教授团队：KG-DL, 基于知识图谱和深度学习融合的自适应在线建模方法-CSDN博客

本文链接：https://blog.csdn.net/star_nwe/article/details/143418266

本期荐读论文：

A Data-Knowledge-Hybrid-Driven Method for Modeling Reactive Power-Voltage Response Characteristics of Renewable Energy Sources

本期推文的内容概要
本期推文将介绍一种基于知识图谱和深度学习融合的自适应在线建模（adaptive online modeling based on the fusion of knowledge graph and deep learning）方法，用于建模可再生能源（ renewable energy sources，RESs）的无功功率-电压响应特性，这项研究发表于《IEEE Transactions on Power Systems》期刊。

考虑到可再生能源源（RESs）的无功功率-电压响应特性建模问题，采用基于深度神经网络（DNN）的方法来跟踪可再生能源的时间变化响应特性。在DNN训练中，电网的响应被纳入DNN损失函数中。为适应无功功率-电压响应特性模型的时间变化参数，提出了一种自适应在线建模方法，以独立训练典型的深度学习（DL）模型。此外，为了探索学习任务的时空关联性，构建了知识图谱（KG）来存储、检索和利用预训练的深度学习模型。得益于KG与DL在自适应在线建模中的融合，深度学习模型具备了在不同条件下的迁移能力。在对修改后的IEEE39-bus系统和一个2486-bus实际系统进行的模拟中，验证了所提方法的有效性。

具体来说，论文的创新点主要有以下几点：

1）提出了一种基于深度学习的电压响应特性建模方法，并考虑了电网电压响应特性的影响

2）提出了一种自适应在线建模方法， 为了适应时变的运行和天气条件，通过分割数据集连续进行学习任务，更好地关注当前数据特征。

3）引入数据-知识协同驱动方法。 为了进一步探索学习任务的时空相关性，引入数据-知识协同驱动方法对独立学习任务中的典型模型进行训练、检索和利用。通过KG的辅助，迁移学习的准确性和可解释性得到了提高。

一、问题的背景

在现代能源应用中，随着全球超过130个国家和地区设定碳中和目标，清洁电力的生产显得尤为重要。可再生能源源（RESs）在过去五年中提供了60%的新电力生成能力，但其集成也给电力系统的运行带来了挑战。因此，建模RES电站的响应特性对提高系统可靠性至关重要。

该方法解决的主要问题包括：

输出不确定性： 天气条件直接影响RES电站的功率输出，导致输出的不确定性，给建模带来困难。
建模复杂性： 现有的聚合模型方法，特别是在处理大型RES电站时，建模过程复杂，影响了效率和准确性。
高维方程难以理解： 模型驱动方法的结果通常以高维微分方程形式存在，系统操作员难以处理和理解。
隐私问题导致信息不足： 在某些情况下，由于隐私问题，系统操作员可能无法收集所需的信息或参数，从而影响模型的准确性。

针对这些挑战，荐读的论文提出了一种基于深度学习（DL）和知识图谱（KG）融合的自适应在线建模方法，通过引入物理信息神经网络（PINN）和迁移学习，增强了RES响应特性建模的准确性和可解释性，展示了深度学习在电力系统建模中的应用潜力。

二、方法的概述

采用深度学习方法来建模可再生能源源（RES）电站的电压响应特性。一般而言，深度学习模型能够适应与训练样本分布相似的测试样本。然而，当遇到与训练样本分布不同的测试样本时，模型的准确性可能不足。在建模电力系统中RES电站的电压响应特性时，有太多因素会影响预测结果，无法将所有这些因素建模为神经网络（NN）的输入。因此，为了提高神经网络在不同天气和系统条件下的迁移性，引入了知识图谱（KG）来辅助深度学习建模。

如图1所示，所提出的数据-知识-混合驱动方法包括基于深度学习的学习部分（蓝色部分）和基于知识图谱的知识部分（绿色部分）。该框架由四个步骤组成。

图1 深度学习与知识图谱的交互过程

在知识提取步骤中，知识图谱通过多个三元组初始化，包括实体、关系和属性，这些可以视为知识。实体包括电力设备实体和深度学习模型实体。例如，对于电力设备实体，以母线实体为例，其属性包括电压等级、节点注入功率等；电力设备实体之间的关系基于电网拓扑关系建立。对于深度学习模型实体，其属性包括模型训练超参数（激活函数、学习率、优化器、批次数量等）、网络参数（网络结构、每层的权重和偏差）以及模型适用的典型操作条件。不同实体之间的关系，包括各个RES电站的拓扑相关性、不同天气和操作条件的相关性，以及深度学习模型对RES电站和天气及操作条件的适应性，有助于评估这些相关性。在在线过程中，通过检索相关实体并基于相关性进行推理，获取适应当前条件和RES电站的深度学习模型。

在知识检索步骤中，根据时间和空间相关性，为给定的学习任务检索合适的深度学习模型。检索到的深度学习模型及其参数将用于辅助后续的学习任务。

在知识利用步骤中，为了减少在线建模的训练时间，采用不同的迁移学习方法，这些方法基于典型模型数据集与给定学习任务的相似性估计。

在知识更新步骤中，根据知识利用步骤中的学习结果，采用不同的方法更新知识图谱中的记录。

通过这一互动过程，深度学习模型具备了迁移能力，能够在不同天气和系统操作条件下高效且高准确性地应用。

为了提高神经网络在不同系统和天气条件下的迁移性，首先提出了一种基于知识的自适应在线建模方法，以创造相关性探索的可能性。然后，引入知识图谱以探索学习任务的空间和时间相关性。本节详细阐述了深度学习与知识图谱互动过程的三个步骤。

（一）基于知识的自适应在线建模

基于深度学习的方法能够根据历史数据建模可再生能源电站的电压响应特性。然而，考虑到RES电站模型的时间变化特征，需要基于流式数据的自适应在线建模。与传统的在线学习和增量学习不同，基于知识的自适应在线建模在新的学习任务中使用最新时间段的样本，历史模型（即使用历史样本训练的模型）作为知识将辅助新的学习任务。具体来说，将探索不同时间段和RES电站之间学习任务的时空相关性。根据这些相关性，将检索并利用历史模型进行新的学习任务。在研究这些相关性之前，首先介绍数据集的划分及其特征提取。

a) 子数据集的划分： 整个历史数据集根据采样时间划分为子数据集。划分方法如图4所示，其中Δt为采样间隔，Nh表示整个数据集中样本的数量。我们将整个数据集划分为多个子数据集，以形成小型学习任务。每个子数据集包括Ns个连续时间段的采样结果，这也在时间维度上定义了一条曲线。

图4 子数据集的划分

b) 特征提取典型条件聚类： 需要注意的是，子数据集之间存在时间相关性，暗示着不同的天气和系统运行条件，同时，不同RES电站的子数据集之间也存在空间相关性。如图5所示，每个历史子数据集中包含不同类型的时间序列数据，包括天气条件、RES电站的电压和无功功率，时间序列数据的类型数量定义为Nf。为了学习每种时间序列数据的变化趋势，采用数据归一化将其值调整到[0, 1]的范围内。为了获得每种时间序列数据的典型变化趋势，采用K-means对不同的子数据集进行聚类。

图5 典型条件聚类过程

此外，设计了额外的卷积神经网络（CNN）模型用于聚类子数据集，以加速在线建模过程。具体来说，对于每个分类CNN，基于K-means的离线聚类结果作为训练样本。其输入为时间序列数据，输出为条件的标签。这些分类CNN具有相同的结构，包括两个卷积层、一个池化层、一个dropout层和三个全连接层。在卷积层中，采用有效填充方法，通过该方法卷积前后特征图的大小会发生变化。在池化层中，选择最大池化方法。此外，采用dropout方法来解决过拟合问题。

此外，对于每个子数据集，在归一化之前，记录电压幅值、无功功率和天气条件样本的平均值。我们进一步选择典型平均值，并将平均值划分为不同的级别。

（二）数据预处理

在知识提取步骤之前，进行数据预处理以解决质量和数量问题。对于数量问题，我们从实际电力系统或Simulink收集测量数据和拓扑数据。当数据量不足时，也可以从文本等非结构化信息中提取数据。对于质量问题，检查实体之间的关系及实体的属性是否符合要求。当发现不正确的数据时，将进行手动纠正。例如，实体“深度学习模型”的属性可以是“学习率”和“激活函数”。如果发现“电压”被作为该实体的属性，则该数据将被检查，并纠正为“母线”实体的属性。

（三）知识检索

知识检索步骤是为了搜索知识图谱中记录的主卷积神经网络（CNN）模型的合适参数，以加速在线学习过程。（在本文的其余部分，将电压响应特性的建模CNN定义为主CNN。）在线知识检索的具体说明如下。

a) 具有时间相关性的知识检索： 检索标准包括条件分类标签和平均水平。当收集到新样本时，使用预训练的CNN对电压、天气条件和无功功率进行分类，以探索当前子数据集的变化特征。然后，生成当前学习任务的分类标签和平均水平，并形成条件属性矩阵 CA=，该矩阵将与知识图谱中的记录进行比较。如果存在一个模型实体，其条件属性矩阵与当前任务的矩阵相同，则将主CNN的参数设置为知识图谱中检索到的模型的参数。如果知识图谱中没有合适的主CNN模型，将执行空间知识检索。

b) 具有空间相关性的知识检索： 空间相关性对于建模RES电站的电压响应特性也可能很重要。例如，刚建成的RES电站可能没有足够的历史数据集或预训练的主CNN模型。在本文中，我们建议根据知识图谱搜索其他RES电站的数据集和主CNN模型，基于空间相关性。与时间知识检索类似，空间知识检索的搜索标准是分类标签和平均水平，检索到的主CNN模型参数将用于知识利用步骤。不同之处在于将搜索整个知识图谱，并检索其他RES电站的主CNN模型。

（四）知识利用率

在知识检索步骤中，我们可以获得每个神经层的权重和偏置，以及主CNN模型的激活函数、学习率和优化器的设置。与传统的从随机初始化参数开始的方法不同，在知识利用中，新主CNN的参数初始值被设置为检索模型的权重和偏差。此外，在新模型的训练过程中，还将分配知识记录中的激活函数和学习率，以提高训练过程的性能。

（五）知识更新

根据最新的学习结果，更新知识图中的记录。由于根据相似性估计选择了不同的知识利用方式，因此有三种可能的更新方式，如表III所示。

首先，当学习任务是强相似的，并且只有完全连接的层被微调时，不需要更新主CNN模型实体。原因是卷积层没有改变(即特征提取能力没有改变)。其次，当学习任务是弱相似时，需要对之前的CNN和微调后的CNN进行模型损失函数的比较。如果新模型的损失函数更小，则检索到的主要CNN知识将被替换为新的CNN参数。否则，我们保持之前的主要CNN实体不变。第三，当学习任务不相似或没有合适的模型记录时，一个具有新CNN参数的新主CNN模型实体将被添加到知识图谱（KG）中。知识更新步骤使主CNN模型具备在不同系统操作和天气条件之间的迁移能力。整个互动过程的流程图如图6所示。

图6 知识检索、利用和更新

三、总结与思考

论文中，设计了一种物理信息神经网络建模方法，以跟踪可再生能源电站的电压响应特性，考虑电力系统的影响。随后，提出了一种自适应在线建模方法，以应对模型参数的不断变化。此外，在基于深度学习的学习部分引入了基于知识图谱（KG）的知识部分，通过该部分，在电压响应特性的建模中考虑了时间和空间相关性。深度学习与知识图谱在自适应在线建模中的互动过程赋予了深度学习模型在不同天气和系统操作条件下的迁移能力。此外，通过利用可迁移的模型参数，新条件下的模型训练过程实现了更高的效率。