34th Conference on Neural Information Processing Systems (NeurIPS 2020), Vancouver, Canada.
[2] Alexander Amini, Wilko Schwarting, Ava Soleimany, and Daniela Rus. 2020. Deep evidential regression. Advances in Neural Information Processing Systems 33 (2020), 14927–14937
Paper原文:https://arxiv.org/abs/1910.02600
Tensorflow代码(作者):GitHub - aamini/evidential-deep-learning: Learn fast, scalable, and calibrated measures of uncertainty using neural networks!
Pytorch代码:GitHub - deebuls/deep_evidential_regression_loss_pytorch: Implementation of Deep evidential regression paper
Supplementary Materials 补充材料
S1 Derivations 来源
S1.1 Normal Inverse-Gamma moments 正态逆伽马矩
我们假设我们的数据来自于一个均值和方差未知的高斯分布。我们概率地建模这些参数和
,根据:
因此,先验的联合分布可以写成:
这个分布的一阶矩代表了最大似然预测和不确定性(包括任意性和认知性)。
总而言之,
S1.2 Model evidence & Type II Maximum Likelihood Loss
模型证据和第二类最大似然损失
在本小节中,我们推导出了后验预测证据或模型证据(见公式7)的NIG分布。边缘化的和
给出了我们期望的结果:
其中是用位置
、缩放
和自由度
评估的学生
分布(Student-t distribution)。利用这个结果,我们可以计算样本
的负对数似然损失
为:
这里。
S1.3 KL-divergence of the Normal Inverse-Gamma 正态逆伽马的KL散度
两个正规的逆伽马函数之间的KL散度由[44]给出:
是伽马函数,
是双函数(Digamma function)。对于零证据定义
和
。为了计算一个NIG分布和另一个没有证据的分布之间的KL散度,我们可以设置
(即,反向-KL),在这种情况下,
没有很好地定义,或者
(即正向-KL),这会导致
的一个除以零的误差。