模型的不确定评估方式

模型的不确定评估方式

在上面的一篇UA-MA的论文中，文献中的模型用一种不确定评估方式来过滤掉相对不可靠（高不确定度）的预测，只选择某些预测作为学生模型学习的目标。下面简单讲讲模型的不确定评估方式吧~

参考文献：What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision? (NIPS 2017)

不确定性类型：

1、感知不确定性（Epistemic Uncertainty）

特征：与模型相关，是由于训练不完全导致的。

在UA-MA中，选择预测熵（the predictive entropy）作为度量来近似不确定性，预测熵如下：

T是随机向前传播次数；Pc是t时刻预测中c类的概率。

公式解释：先算出T次向前传播后的预测值，然后使用了一个信息熵公式求出不确定性。
注意，不确定性是在体积水平上估计的，整个体积u的不确定性是{u}∈rh×w×d。

在不确定性这篇论文中是这样描述的：
对于分类问题：

带T采样的隐式模型权重，Wt～q∗θ（ W），其中qθ（w）是dropout分布。
这个概率向量p的不确定性可以用概率向量的熵来概括：

对于回归问题：

通过近似预测平均值进行预测：$E(Y)=\frac{a}{b}{\sum }_{t=1}^T{f}^W(x)$
σ2：对应于数据中固有的噪声量

简单来说，感知不确定性是用多次预测结果的方差来决定的，在多次预测中，所用的模型参数都是不一样的，因此这种做法捕获了模型参数的感知不确定性。

2、偶然不确定性（Aleatoric Uncertainty）

特征：由于观测数据中的固有噪声导致的，这种不确定性是无法被消除的。

总结：模型不确定性的选择，偶然不确定性、感知不确定性，或者结合两种？
对于以下情况，建立原子不确定性模型很重要：

• 大数据
• 实时应用程序
• 安全关键应用
• 小数据集

这篇文章翻译得挺好的：深度学习中的不确定性