基于LightGBM的夜经济用户级短期负荷概率预测方法

摘要

【目的】 为了度量夜经济中用户级短期负荷的不确定性，基于LightGBM（Light Gradient Boosting Machine）和KDE（Kernel Density Estimation）方法，本文设计了一种夜经济用户级短期负荷概率预测模型框架和预测方法。【方法】 首先，利用LightGBM对待预测用户的历史负荷与影响因素（如天气、日类型等）进行建模。然后，使用该模型预测用户的未来短期负荷，并将LightGBM模型所包含的树的输出作为概率预测的输入，利用核密度估计方法计算该用户未来短期负荷的概率密度及预测区间。【结论】 最后利用北方某城市的多个夜经济用户真实负荷数据进行了实验验证，实验结果表明本方法预测结果准确，鲁棒性高，且对夜经济多类用户均适用。

关键词： 用户级负荷预测; 负荷概率预测; LightGBM; 梯度提升决策树; 核密度估计

引言

智能电网的主要任务是为用户提供高质量的电能供给，满足社会的各类用能需求。随着智能电表的普及，用户侧用能数据量和复杂度也呈指数增长，如何挖掘用户侧海量数据的价值并有效合理的应用成为当前大数据时代智能电网亟待解决的问题[1]。

随着国内都市夜经济的繁荣发展，城市中夜经济活跃区域的用电负荷发生显著变化，因此，利用大数据及机器学习相关技术对夜经济相关用户进行准确的用户级负荷预测，是电网保障夜经济顺利发展和提供高质量供电服务的重要方法。

目前对夜经济用户级负荷预测的工作较少，这是因为夜经济繁荣发展的时间较短所积累数据资源较少，呈现相关业态丰富，夜经济用户的负荷与其生产经营活动关系紧密，且用户级负荷预测的不确定性远远高于系统级负荷预测，传统使用的确定性预测的预测精度较低。概率预测能够评估未来负荷的不确定性、可能的波动范围以及面临的风险，是确定性预测的替代和补充[2⇓-4]。

目前，按照是否预先假设预测对象或预测误差遵循某一分布分类，可以将概率预测分为参数法概率预测[5]和非参数法概率预测[6]。参数法概率预测事先人为假定预测对象或预测误差满足一定的概率分布模型（如正态分布、拉普拉斯分布、威布尔分布、贝塔分布等），然后利用已知信息估计分布模型的参数，得到待预测对象的概率分布。由于强假设的存在，该类方法适用于特定场景中，对于随机性强、数据复杂度高的概率预测问题适用性不高。非参数法概率预测不对预测对象或预测误差的分布做任何假设，可有效避免参数法中分布假设不合理的问题，这类方法中分位数回归(Quantile Regression, QR)[7]、核密度估计(Kernel Density Estimation, KDE)[8]等方法在概率预测中应用较多。经典的分位数回归方法多用于线性回归问题，因此，研究人员将机器学习、深度学习的方法与分位数回归的方法相结合提升了时间序列预测中的非线性复杂问题处理的能力。文献[9]将支持向量机与分位数回归相结合，该方法在新加坡系统级数据上获得了较好的短期电力负荷概率密度预测结果。随着深度学习的发展，很多学者将深度学习的方法应用在负荷概率预测领域。文献[2]提出利用卷积神经网络(Convolutional Neural Network, CNN)提取负荷及相关影响因素特征，然后结合门控循环神经网络(Gated Recurrent Unit, GRU)与QR实现负荷的概率预测。文献[10]提出了一种基于时间卷积网络分位数回归和注意力机制的概率密度预测方法，在华东某地的区域级负荷数据上取得了较好的负荷预测结果。然而，上述利用机器学习、深度学习与分位数回归相结合的策略导致模型训练的时间复杂度较高，通常要针对待预测的不同分位点分别训练预测模型；同时，深度神经网络、注意力机制等模型的参数数量较大，需要参与训练的样本量较大，该类方法无法很好地处理数据量积累较少、负荷波动较大的夜经济用户级短期负荷预测。

因此，本文设计了以历史负荷值、天气、日类型为特征，利用轻量级梯度提升机(Light Gradient Boosting Machine, LightGBM)[11]训练用户级短期负荷确定性预测模型。由于在LightGBM训练过程中，是通过迭代使新建的决策树沿着损失函数减少最快方向减少损失，从而获得更高的预测精度，LightGBM的训练过程即为模型确定性预测中逐渐优化和逼近真实负荷的过程，因此，本文利用核密度估计方法对LightGBM的树迭代优化的预测值进行密度估计，从而获得夜经济中用户级短期负荷的概率预测结果。在北方某城市夜经济发达区域实际夜经济数据上的实验结果表明，即使在数据量不大的情况下，本方法预测结果准确，鲁棒性高，且对夜经济多类用户均适用。本方法目前已经部署实施在电网的大数据中台上，并取得了良好的收益。

1 基于LightGBM和KDE的短期负荷概率预测

1.1 预测框架

本文设计的基于LightGBM和KDE的用户级短期负荷概率预测模型的框架如图1所示。首先，对所采集的夜经济用户负荷数据进行预处理，填补缺失值、平滑或删除离群点。然后，选取与待预测负荷相关的历史负荷、温度作为输入，训练确定性预测的LightGBM模型。最后，LightGBM中包含的多棵子树的输出作为KDE的输入，估计出待预测时刻负荷的概率密度及预测区间(Prediction Interval, PI)。

图1

图1   基于LightGBM-KDE的用户级短期负荷概率预测框架

Fig.1   Framework of the user-level short-term probabilistic load forecasting based on LightGBM-KDE

 

1.2 基于LightGBM的短期负荷预测模型

梯度提升决策树(Gradient Boost Decision Tree, GBDT)[12]是集成学习利用Boosting策略[13]的具有代表性的框架。它通过组合弱学习器构建强分类器或强回归器，常用的基学习器是分类与回归树(Classification and Regression Tree, CART)。GBDT是一种加法模型，它把所有CART树的预测值累加起来作为最终的预测值，通过沿着基学习器损失函数梯度下降的方向不断迭代训练模型。形式化描述如下：

假设训练集为D={(xi,yi)}Ni=1D={(xi,yi)}i=1N，其中，x=(x1,x2,⋯,xn)x=(x1,x2,⋯,xn)为输入样本的特征，y=(y1,y2,⋯,yn)y=(y1,y2,⋯,yn)为输出。GBDT可以表示为决策树的加法模型，如式(1)所示：

fm(x)=∑Mm=1T(x;θm)fm(x)=∑m=1MT(x;θm)

(1)

其中，T(x;θm)T(x;θm)表示决策树；θmθm为决策树的参数；M为数的个数。第m步的模型表示如下：

fm(x)=fm−1(x)+T(x;θm)fm(x)=fm−1(x)+T(x;θm)

(2)

假设yiyi为第i个样本的真实值，fm(xi)fm(xi)为第i个样本的预测值，取损失函数为平方损失，表示为式(3):

L(yi,fm(xi))=12(yi−fm(xi))2L(yi,fm(xi))=12(yi−fm(xi))2

(3)

上式通过最小化损失函数得到参数θmθm为：

θ^m=argmin∑Mi=1L(yi;fm−1(x)+T(x;θm))θ^m=argmin⁡∑i=1ML(yi;fm−1(x)+T(x;θm))

(4)

经过多次迭代，更新回归树可以得到最终模型。LightGBM是一种基于决策树的梯度提升算法框架，它是在GBDT的基础上融入了梯度单边采样技术(Gradient-based One-Side Sampling, GOSS)和独立特征合并技术(Exclusive feature bunding, EFB)，使得在不降低分类和回归精度的基础上，提高了训练效率，节约了训练时间。

1.3 核密度估计

由于LightGBM中树迭代优化的过程中逐步逼近真实值，因此前i棵树的累加值可以作为概率预测中核密度估计的输入。核密度估计是在概率论中用来估计未知的密度函数，属于非参数检验方法之一。设(x1,x2,⋯,xn)(x1,x2,⋯,xn)是独立同分布的n个样本点，它的概率密度函数f，利用式(5)进行估计。

fh(x)=1n∑ni