TrustGeo参文2：Deep evidential regression（深度证据回归）补充材料

路由跳变

已于 2024-04-08 15:07:00 修改

阅读量732

点赞数 8

分类专栏： TrustGeo 文章标签：人工智能

于 2024-04-08 15:06:06 首次发布

本文链接：https://blog.csdn.net/sinat_41942180/article/details/137353441

版权

34th Conference on Neural Information Processing Systems (NeurIPS 2020), Vancouver, Canada.

[2] Alexander Amini, Wilko Schwarting, Ava Soleimany, and Daniela Rus. 2020. Deep evidential regression. Advances in Neural Information Processing Systems 33 (2020), 14927–14937

Paper原文：https://arxiv.org/abs/1910.02600
Tensorflow代码（作者）：GitHub - aamini/evidential-deep-learning: Learn fast, scalable, and calibrated measures of uncertainty using neural networks!
Pytorch代码：GitHub - deebuls/deep_evidential_regression_loss_pytorch: Implementation of Deep evidential regression paper

Supplementary Materials 补充材料

S1 Derivations 来源

S1.1 Normal Inverse-Gamma moments 正态逆伽马矩

我们假设我们的数据来自于一个均值和方差未知的高斯分布 $(\mu ,\sigma ^{2})$ 。我们概率地建模这些参数和 $\theta$ ，根据：

因此，先验的联合分布可以写成：

这个分布的一阶矩代表了最大似然预测和不确定性（包括任意性和认知性）。

总而言之，

S1.2 Model evidence & Type II Maximum Likelihood Loss

模型证据和第二类最大似然损失

在本小节中，我们推导出了后验预测证据或模型证据（见公式7）的NIG分布。边缘化的 $\mu$ 和 $\sigma$ 给出了我们期望的结果：

其中 $S_{t}(y;\mu _{S_{t}},\sigma _{S_{t}}^{2},v_{S_{t}})$ 是用位置 $\mu _{S_{t}}$ 、缩放 $\sigma _{S_{t}}^{2}$ 和自由度 $v_{S_{t}}$ 评估的学生 $t$ 分布（Student-t distribution）。利用这个结果，我们可以计算样本 $i$ 的负对数似然损失 $L_{i}^{NLL}$ 为：

这里 $\Omega = 2\beta \left ( 1+\upsilon \right )$ 。

S1.3 KL-divergence of the Normal Inverse-Gamma 正态逆伽马的KL散度

两个正规的逆伽马函数之间的KL散度由[44]给出：

$\Gamma (\cdot )$ 是伽马函数， $\Psi (\cdot )$ 是双函数（Digamma function）。对于零证据定义 $\alpha =0$ 和 $\upsilon =0$ 。为了计算一个NIG分布和另一个没有证据的分布之间的KL散度，我们可以设置 $\nu _{2}=\alpha _{2}=0$ （即，反向-KL），在这种情况下， $\Gamma (0)$ 没有很好地定义，或者 $\nu _{1}=\alpha _{1}=0$ （即正向-KL），这会导致 $\nu _{1}$ 的一个除以零的误差。在任何一种方法中ÿ

最低0.47元/天解锁文章

路由跳变

关注

8
点赞
踩
19

收藏

觉得还不错? 一键收藏
0
评论
TrustGeo参文2：Deep evidential regression（深度证据回归）补充材料

到目前为止，这是我必须审查的所有代码中唯一能运行的代码。R3: 作者真的花了很大的精力来提供可运行的代码，这是值得赞扬的。我们相信这项工作通过其广泛的适用性和可访问、易于使用的代码支持新的研究。
复制链接

扫一扫