声明：文章是从本人公众号中复制而来，因此，想最新最快了解各类智能优化算法及其改进的朋友，可关注我的公众号：强盛机器学习，不定期会有很多免费代码分享~
目录
今天对我们之前推出的区间预测全家桶再次进行更新！将最新推出的QRTransformer模型加入到我们的全家桶当中。需要注意的是，这个模型是我们独家原创的，结合了最新的Transformer模型，非常新颖！
传统的点预测相信大家已经做腻了，审稿人也看腻了。其输出的仅有一个预测值，无法定量描述预测结果的不确定性。
而区间预测能够得到预测值可能出现的范围，即给出上界和下界。目前应用在电气学科比较多，如光伏功率预测、风电功率预测、风速预测等等，如果你想应用在其他学科，都是完全可以的，比如碳价预测、剩余寿命预测、降水量预测等等。并且，能给审稿人眼前一亮，也能增加工作量和Accept的概率和机会。
如果你之前购买过区间预测全家桶，此次推出的模型免费下载即可。
当然，我们提出的这个模型在知网和WOS平台依旧都是搜不到的，不信可以看下图：
废话也不多说，接下来简单介绍一下我们这个模型与创新点。
数据介绍
本期数据使用的依旧是多变量回归数据集，是某地一个风电功率的数据集，经过处理后有3个特征，分别用特征1、2、3来表示，具体特征含义大家不必深究，这边只是给大家提供一个示例而已，大家替换成自己的数据集即可~
更换自己的数据时，只需最后一列放想要预测的列，其余列放特征即可，无需更改代码，非常方便！
创新点
传统预测是以点预测的形式提供的，这种单一的预测信息不足以体现预测的不确定性。分位数回归可以直接估计不同分位数的点值，其优点是可以在整个分位数范围内提供预测值，而不用提前假设分布函数的参数形式。
创新点一：利用分位数回归实现区间预测！
传统的区间预测大多采用概率密度估计实现，此类方法往往需要估计误差，且需要假设误差的分布。而分位数回归则无需任何先验假设，直接利用其回归模型即可得到模型的上下界范围，非常好用。
分位数回归方法由 Koenker 等人提出，通过研究自变量和因变量间的条件分位数关系确定回归模型，可以实现由解释变量估计响应变量的条件分位数计算。设有c个解释变量 U={U1,U2,…,Uc}作用于随机变量S，S的分布函数可表示为：
则对任意分位数τ，τ∈[0,1]，有：
式中 F-1 (τ)为S的第τ分位数 ；inf(s)为集合s的下确界。
线性分位数回归模型中，响应变量S在解释变量U下的第τ个条件分位数 QS(τ|U)为：
式中β(τ)为τ分位点下的回归系数向量。
不同分位点下的β(τ)不同，因此确定了β(τ)也就确定了该回归模型。另外，β(τ)的相关参数可由下式的损失函数进行求解，即：
式中ρτ(μ)为检验函数，其通过使ρτ(μ)最小，来求解模型回归系数β(τ)。检验函数ρτ(μ)为：
创新点二：结合Transformer模型实现高精度预测！
Transformer是2017年由Google团队针对机器翻译任务所提出来的模型，它没有采用卷积神经网络或者循环神经网络的结构，而是一个完全基于自注意力机制的模型，主要结构为位置编码、编码器、解码器和前馈网络。其优势就是高度并行化提高计算效率，可以捕获长时间依赖关系，更好地解决长时依赖问题。
Transformer主要由3个部分组成：位置嵌入模块、多头注意力模块和前馈网络模块。为增强长序列中的位置信息，需引入位置嵌入机制，位置编码方程定义为：
式中d为节点负荷的嵌入大小，i为第i个时间步长。自注意力网络的输入需加入位置编码变量：
式中：Et∈R^T×d表示单个节点负荷信息。随后使用线性变换矩阵Wq，Wk，Wv计算Q，K，V，即：
式中：Q和K为查询向量和键向量，用于计算数据间的相关度，V是表征历史数据的值向量。
Transformer的多头注意力机制可突出特征向量间的重点特征，注意力计算公式为：
式中：d为模型维度；h为注意力头数。
模型流程
结合分位数回归、Transformer的优势，构建基于QRTransformer的区间预测模型的流程为：
首先，设置Transformer最大训练次数为200次，初始学习率为0.001，最大位置编码长度为256，自注意力机制中的头数为4，每个头的键的通道数为4*32，利用Transformer擅长捕获长时间依赖关系的特性进行点预测。
在网络结构最后，利用分位数回归模块进行回归预测，根据置信区间范围，得到预测结果及其上下区间范围，根据区间预测绘图并计算R2、MAE、MSE、RMSE、MAPE、PICP、PIMW指标。
以下是程序中的网络结构图，我们QRTransformer模型结构非常简洁，各结构层之间能简化的一定简化！省去了很多不必要的网络结构和代码，更加清晰易懂，适合新手小白！同时，直接运行main文件即可一键自动生成此网络结构图！
结果展示
这里采用了95%的置信区间，如果大家需要其他的置信区间，也可以自行更改，只需在代码的创建网络处修改即可，非常简单！
区间预测的测试集预测结果：
区间预测的训练集预测结果：
网络结构图：
点预测的误差直方图：
点预测的线性拟合图：
我们也很贴心地给出了很多评价指标，点预测包括4种评价指标，包括R2、MAE、MSE、MAPE，区间预测包括2种评价指标，区间覆盖率PICP、区间平均宽度百分比PIMWP，如果后续有需要增加评价指标的小伙伴可以私聊~
可以看到，我们的QRTransformer模型在此数据集下，在95%置信水平下的测试集PICP达到了98.788%，R2也达到了0.98以上，与真实值基本吻合，非常适合用来作为创新点！
以上结果展示中所有图片，作者都已精心整理过代码，都可以一键运行main直接出图！不信的话可以看下面文件夹截图，非常清晰明了！
适用平台：建议Matlab2023b版本及以上，没有的文件夹里已免费提供安装包！
全家桶代码目录
之前已经推出过非常多的区间预测模型推文，均包含在全家桶内（可以点击链接直接查看）：
最新模型！QRBiTCN-BiGRU-Attention一键实现区间预测！区间预测全家桶再更新！
无人用过！QRTCN-BiLSTM实现区间预测！区间预测全家桶再更新！
顶级SCI优化！DCS-CNN-BiLSTM-Attention-KDE实现区间概率预测！区间预测全家桶再更新！
未发表！QRCNN-BiGRU-MultiAttention实现区间预测！轻松发顶刊！区间预测全家桶再更新！
保姆级教程！QRCNN-BiLSTM一键实现多变量回归区间预测！区间预测全家桶再更新！
尚未发表的创新点！基于QRBiGRU的多变量回归区间预测！直接替换Excel数据即可用！
先用先发！24年新算法CPO-ELM结合改进自适应核密度估计实现区间概率预测！原理讲解！尚未发表！适合新手小白
目前，全家桶在之前13个模型的基础上又增加了一个，共14个，之后还会推出更多更新颖的模型！
正如上文提到的，如果你想快速发paper，或者想要尝试到底哪个模型才最适合你的数据、精度最高，或者需要很多对比模型衬托你的模型的优越性，那么全家桶包含的这么多模型可以说完全符合你的需求！
购买后如果以后推出其他区间预测模型，直接免费下载，无需再次付费。
但如果你之后再买，一旦推出新模型，价格必然会上涨。因此，需要创新的小伙伴请尽早下手。
代码获取
1.已将本文算法加入区间预测全家桶中，点击下方小卡片，再后台回复关键字：
区间预测全家桶
2.如果实在只想要QRTransformer单品的同学，点击下方小卡片，再后台回复关键字，不区分大小写：
QRTF
扫一扫
2836
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
