基于保形预测的非参数预测分布

简介

本文应用保形预测导出了在非参数假设下有效的预测分布。也就是说，我们引入并探索预测分布函数，这些函数总是满足IID观测值在保证覆盖方面的有效性的自然属性。重点是一种预测算法，我们称之为最小二乘预测机(LSPM)。LSPM将经典的Dempster-Hill预测分布推广到回归问题。如果最小二乘线性回归的标准参数假设成立，那么在自然意义上，LSPM与Dempster-Hill过程一样有效。如果这些参数假设不成立，LSPM仍然有效，只要观测值是IID。

论文：Nonparametric predictive distributions based on conformal prediction
作者：Vladimir Vovk, Jieli Shen, Valery Manokhin & Min-ge Xie
网址：https://link.springer.com/article/10.1007/s10994-018-5755-8

论文地址

关注微信公众号，获取更多资讯

论文中提到的 Dempster-Hill 方法是一种经典的非参数预测分布方法,其主要特点如下:

• 该方法源于 Fisher (1939, 1948) 提出的非参数版本的 fiducial 方法,但 Fisher当时主要关注的是分位数的置信分布,而不是预测分布。
• Dempster (1963) 和 Hill (1968, 1988) 进一步发展了这一思想,提出了 Dempster-Hill 程序。Hill 也将其称为贝叶斯非参数预测推断(Bayesian nonparametric predictive inference)。
• Dempster-Hill 程序可以看作是一种共形预测系统(conformal predictive
  system),其依据的一致性度量(conformity measure)为 A(z1, …, zn+1) = yn+1,即只考虑了观测值 y 而忽略了自变量 x。
• 在无绑定的情况下,Dempster-Hill 程序给出的预测分布为 Qn(y) = [(i-1)/(n+1),
  (i+1)/(n+1)],其中 y 落在第 i 个有序统计量 y(i) 和 y(i+1) 之间。这本质上就是 Hill 提出的 A(n) 假设。
• 在标准高斯线性模型下,Dempster-Hill 程序的预测分布与基于最小二乘预测机(LSPM)的预测分布在渐近效率上是相当的,都可以达到 Oracle I 和 Oracle II 的水平。
  总之,Dempster-Hill 方法是一种经典的非参数预测分布方法,与本文提出的 LSPM 在某些情况下具有相似的渐近效率。

重点总结

这篇论文提出了一种基于共形预测的非参数预测分布方法${}^1$。主要包括以下几个步骤:

• 定义了随机预测系统(Randomized Predictive System, RPS)的概念,它是一个满足单调性和边界条件的函数${}^3$。

• 提出了最小二乘预测机(Least Squares Prediction Machine, LSPM),它是一种基于回归残差的RPS,有普通、删除和标准化三种版本${}^2$。

• 证明了LSPM在一般独立同分布(IID)模型下是有效的,即能保证预测区间的覆盖概率${}^{5,6}$。

• 在标准高斯线性模型下,比较了LSPM与三种参数模型下的预测分布的效率,结果表明LSPM在某些情况下与经典的Dempster-Hill预测分布一样高效${}^{18}$。

总之,这篇论文提出了一种基于共形预测的非参数预测分布方法LSPM,在一般IID模型下是有效的,同时在标准参数模型下也能达到较高的效率。