时间序列预测的评估指标补遗

本文链接：个人站 | 简书 | CSDN
版权声明：除特别声明外，本博客文章均采用 BY-NC-SA 许可协议。转载请注明出处。

在《销量预测中的误差指标分析》一文中，我们介绍了一些时间序列点预测中常用的指标。而通过在《如何在商品采购中考虑不确定性》、《报童问题》和《报童问题的简单解法》等文中的探讨，我们已经看到，将需求预测的方式从点预测改为概率分布预测，可以有效降低库存管理的风险，获得更大的期望收益。针对时间序列的概率分布预测，我们也已经介绍了 DeepAR、Transformer 等若干深度学习模型。那么，该如何评估概率分布预测的效果呢？在《概率预测的评估方法简介》一文中，我们已经介绍了一些通用的概率预测的评估指标。在本文中，我们再补充介绍几个适用于时间序列的概率预测评估指标。

1. Quantile Loss

在《分位数回归》一文中，我们证明了以最小化分位数损失作为训练目标，可以得到分位数预测模型。其实反过来看，分位数损失也可以作为概率分布预测的评估指标。

用 $Z_t$ 表示 $t$ 时刻的真实值，用 ${\hat{Z}}_t^{\rho }$ 表示概率分布预测给出的 $t$ 时刻的 $\rho$ 分位数，总共预测 $h$ 步，我们定义 Quantile Loss 为
Q L ρ = 2 ∑ t = 1 h ( Z ^ t ρ − Z t ) ( ρ I { Z ^ t ρ > Z t } − ( 1 − ρ ) I { Z ^ t ρ ≤ Z t } ) QL_\rho = 2\sum_{t=1}^{h}(\hat Z_t^\rho-Z_t)\left(\rho I_{\{\hat Z_t^\rho > Z_t\}} - (1-\rho)I_{\{\hat Z_t^\rho \leq Z_t\}}\right) QLρ​=2t=1∑h​(Z^tρ​−Zt​)(ρI{ Z^tρ​>Zt​}​−(1−ρ)I{ Z^tρ​≤Zt​}​)
在此基础上定义 weighted Quantile Loss 为
$$wQ{L}_{\rho }=\frac{Q{L}_{\rho }}{\sum _{t=1}^h{Z}_t}$$
不难发现取 $\rho =0.5$ 时
$$wQ{L}_{0.5}=\frac{{\sum }_{t=1}^h|{\hat{Z}}_t^{0.5}-Z}{{\sum }_{t=1}^h{Z}_t}$$