Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles

普通的机器学习分类回归问题都是点估计，即模型给出的输出是一个real value，或者是各个类别的probability。

但是模型对于不同点的估计，确信度应该是不同的。对于和以往出现过样本非常相似的点，给出的预测确信度比较高，对于和以往出现过点距离比较远的点的估计，确信度应该降低。

目前衡量神经网络结果不确定性的方法主要是贝叶斯神经网络，每一层的w和b都是服从一个分布而非是确定的值，所以自然，最后的估计结果可以由贝叶斯公式给出一个置信区间，从而给出不确定性的估计。

但是贝叶斯网络存在计算量大，复杂的问题。

本文给出一种机器学习的通用学习框架，来更好的训练模型，具体而言分三步。

1、确定一个合理的训练目标函数

2、使用对抗学习训练方法平滑预测函数

3、使用ensemble方法训练多个预测器

对于多个预测器，采用bootstrap的办法，抽样训练，最后模型的不确定性，由多个预测器给出的预测结果差异决定。

加入对抗学习的目的，好像文中没有说清楚，说了在e领域内让预测器稳定平滑，但这样是为了什么，没有交代的很清楚。

但也大概可以有个模糊的解释

这个图中最右是该方法的估计，可见，样本点上，各个模型相似，所以方差小，灰色宽度小，在样本外，各个模型给出预测差异大，宽度大。

于是乎，各种结果说明了该方法的有效性。

感觉作者想推广自己的方法，使之成为机器学习界通用的训练方法，但是，好像没啥动静。