隐私保护下融合联邦学习和LSTM的少数据综合能源多元负荷预测

摘要: 对于用能数据不足的综合能源系统，借助相似系统的丰富数据可以为其建立高精度的多元负荷预测模型，然而，受数据安全等因素的限制，很多系统并不愿意共享自身数据。联邦学习为处理隐私保护下的少数据综合能源多元负荷预测问题提供了一个重要的思路，但是现有方法依然存在相似参与方识别精度不高等不足。鉴于此，本文提出一种融合联邦学习和长短期记忆网络（long short-term memory, LSTM）的少数据综合能源多元负荷预测方法(multitask learning based on shared dot product confidentiality under federated learning, MT-SDP-FL)。首先，给出一种基于共享向量点积保密协议的相似参与方识别方法，用来从诸多可用的综合能源系统中选出最为相似的参与方；接着，使用参数共享联邦学习算法对选中的各参与方联合训练，结合LSTM和fine-tune技术建立每个参与方的多元负荷预测模型。将所提方法应用于多个实际能源系统，实验结果表明，该方法可以在数据稀疏的情况下取得高精度的多源负荷预测结果。

• 关键词: 
• 多元负荷预测  /  
• 综合能源系统  /  
• 联邦学习  /  
• 隐私保护  /  
• 神经网络  /  
• 少数据  /  
• 时序数据预测  /  
• 点积协议  

自第一次工业革命以来，人类社会在快速发展的同时消耗了大量的化石能源，能源危机问题近年来日益突出。在此背景下，以综合能源系统(integrated energy systems，IES) 为代表的新兴能源使用场景逐渐兴起。目前，已有70余个国家开展了区域综合能源系统研究[1]。针对综合能源负荷预测问题，学者们已经提出了诸多方法，包括以自回归移动平均、灰色模型、卡尔曼滤波器等为代表的传统方法[2-4]，以及以神经网络、决策树、随机森林和支持向量机等为代表的智能方法[5-8]。

由于具有良好的预测能力，近年来智能方法逐渐成为负荷预测的热点方向。Safta等[9]针对蒙特卡罗采样预测可再生能源信息所需采样次数多的问题，采用多项式混沌展开代替蒙特卡罗采样，提升了负荷预测的精度和效率；针对短期光伏功率预测问题，Cheng等[10]建立了一种结合谱图卷积、多图形边和分层输出的混合模型。上述成果进一步提高了负荷预测的精度，但其考虑的客观因素仍然相对较少，而且它们也未考虑能源间的耦合关系。He等[11]采用变模态分解将能源消费时序数据分成若干模态之后，利用贝叶斯优化的长短期记忆网络预测能源消费，给出了一种改进的长短期记忆网络预测模型，提高了模型的预测精度；Potocnik等[12]提出了基于机器学习的区域供热系统短期热需求预测方法，并证实了供热温度与太阳辐射强度、短期热需求的强相关性。这些成果进一步表明，综合考虑负荷间的耦合性以及经济、温度等客观因素能有效提高模型的预测精度。

作为循环神经网络的一类典型改进，长短期记忆网络(long short-term mymory, LSTM)不仅继承了RNN可记忆最近事件的能力，而且有效克服了RNN无法记忆久远信息的缺陷[13-14]。Muzaffar等[15]通过实验表明LSTM的负荷预测效果更优；李鹏等[16]将LSTM用于计及实时电价的短期负荷预测问题，取得较好的预测结果；Somu等[17]利用LSTM构建了一种改进的建筑负荷预测模型。上述研究为综合能源系统负荷预测问题提供了多种高效的处理方法，但是它们都需要依据充足的负荷数据。对于用能数据不足的综合能源系统，它们很难获得理想的负荷预测结果。

然而，随着参与方对自身数据隐私性的重视，孤岛式数据 (即数据孤岛问题)越来越普遍。针对此问题，谷歌提出了联邦学习[18]，其目的是在保证各参与者方数据安全的基础上，共同使用这些数据为它们构建有效的机器学习模型[19]。目前联邦学习已在医疗保健[20]、通信[21]、语言建模[22]、交通[23]等领域得到了广泛应用。在隐私保护需求的推动下，许多学者开始将联邦学习与LSTM相结合用于负荷预测问题。

应用于负荷预测问题，Savi等[24]开发了一个联邦LSTM模型，用于预测单个房屋的电力需求。Chen等[25]设计了一种新的联邦多任务层次注意模型，将注意机制和LSTM网络相结合，对潜在的时间和非线性关系进行建模。在兼顾用户隐私的前提下，这些成果进一步提高了联邦学习模型处理负荷预测问题的性能，但仍缺少对于恶意节点的识别与处理机制。

因此分析恶意节点对联邦训练结果的影响，王鑫等[26]利用区块链技术建立了电能量数据的声望模型，并给出了参与节点的奖励机制。上述方法为负荷预测问题提供了一个重要的思路，但是它们要求参与联邦学习的参与方具有相似的数据分布特征。在处理少数据综合能源系统负荷预测问题时，如何从诸多可用的能源系统中选出与当前系统最为相似的一个或几个参与后续的联邦学习，仍是一个有待解决的问题。在下文中，拥有少量数据的能源系统简称为少数据节点，拥有大量数据的可选能源系统称为多数据节点。

针对少数据综合能源系统的多元负荷预测问题，将点积保密计算协议和LSTM融入联邦学习框架，提出一种改进的多元负荷预测方法，MT-SDP-FL。首先，给出一种基于共享向量点积保密协议的相似参与方识别方法，从诸多可用的多数据节点中选出用能相似的节点；接着，在参数共享联邦学习算法框架下，结合LSTM和fine-tune技术建立每个参与方的多元负荷预测模型。

1.   相关工作

1.1   LSTM

LSTM网络作为一种递归神经网络体系结构由Hochreiter等[27]提出。图1给出了LSTM的单元结构图，每个单元以输入门、遗忘门和输出门作为结构存储信息。其中，ht−1ht−1表示LSTM上一时刻的输出，xtxt表示当前输入，htht表示当前单元的输出，ctct和ct−1ct−1分别表示存储单元当前时刻以及上一时刻的状态。

图  1  LSTM的基本单元结构

Fig.  1  Basic unit structure of LSTM

下载: 全尺寸图片

遗忘门ftft用于对上一单元的信息进行选择性的保留，公式为

ft=σ(wf⋅[ht−1,xt]+bf)ft=σ(wf⋅[ht−1,xt]+bf)

(1)

式中：wfwf为权重矩阵，bfbf为偏差，σσ为sigmoid函数。

输入门itit用于控制当前输入数据到存储单元状态值的更新，更新公式为

it=σ(wi⋅[ht−1,xt]+bi)it=σ(wi⋅[ht−1,xt]+bi)

(2)

c~t=tanh(wc⋅[ht−1,xt]+bc)c~t=tanh⁡(wc⋅[ht−1,xt]+bc)

(3)

ct=ft⋅ct−1+it⋅c~tct=ft⋅ct−1+it⋅c~t

(4)

式中：wiwi为权重矩阵，bibi为偏置。同时，新状态信息c~tc~t可由式（3）进行更新，其中，wcwc是权重矩阵，bcbc是偏置。结合式（2）和（3），可由式（4）得到当前状态ctct。

输出门ot用来控制存储单元状态值的输出值，具体计算方式为

ot=σ(wo⋅[ht−1,xt]+bo)ot=σ(wo⋅[ht−1,xt]+bo)

(5)

ht=ot⋅tanh(ct)ht=ot⋅tanh⁡(ct)

(6)

式中：wowo是权重矩阵，bobo是偏置。

LSTM通过借助上述3个门实现对长时间信息的读取、重置和更新，进而利用历史信息实现对未来进行预测。

1.2   点积保密计算协议

对于A、B两个分别拥有nn维向量X=[x1x2⋯xn]X=[x1x2⋯xn]和Y=[y1y2⋯yn]Y=[y1y2⋯yn]的数据拥有方，双方希望在保护各自数据隐私的情况下计算得到两向量的点积X⋅Y=x1y1+x2y2+⋯+xnynX⋅Y=x1y1+x2y2+⋯+xnyn。其输出结果为 X⋅YX⋅Y的协议为向量点积协议。如果协议结束后，其中一方得到ss且s≠0s≠0，另一方得到 sX⋅YsX⋅Y 或 X⋅Y+sX⋅Y+s, 则称这样的协议为共享向量点积协议。本文介绍了一个高效的共享向量点积保密计算协议[28]。该协议仅需要基本的算术运算，不使用任何公钥加密方案，具有很高的计算效率。

1)将向量X=[x1x2⋯xn]X=[x1x2⋯xn]按以下方式进行分解：随机选取有理数aiai和有理数向量Xi=[xi1xi2⋯xin](i∈(1,2,⋯,t),2⩽t⩽n+1)Xi=[xi1xi2⋯xin](i∈(1,2,⋯,t),2⩽t⩽n+1)，使得X=a1X1+a2X2