Dropout作为贝叶斯近似: 表示深度学习中的模型不确定性

摘要

深度学习工具在应用机器学习领域受到了极大的关注。然而，这些用于回归和分类的工具并没有捕捉到模型的不确定性。相比之下，贝叶斯模型提供了一个基于数学的框架来推理模型的不确定性，但通常会带来令人望而却步的计算成本。本文提出了一种新的理论框架，将深度神经网络中的dropout训练作为深度高斯过程中的近似贝叶斯推理。该理论的一个直接结果是为我们提供了用dropout神经网络来模拟不确定性的工具——从现有的模型中提取信息，这些信息到目前为止已经被抛弃了。这在不牺牲计算复杂性或测试准确性的情况下减轻了深度学习中表示不确定性的问题。我们对dropout不确定性的性质进行了广泛的研究。以MNIST为例，对回归和分类任务的各种网络结构和非线性进行了评估。与现有的最先进的方法相比，我们在预测对数似然和RMSE方面取得了相当大的进步，并通过消除深度强化学习中dropout的不确定性来完成。

论文：
Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning
作者：Yarin Gal Yarin Gal
单位：University of Cambridge

摘要

用于回归和分类的标准深度学习工具不能捕捉模型的不确定性。在分类中，在网络末端获得的预测概率(softmax输出)经常被错误地解释为模型置信度。即使具有很高的softmax输出，模型的预测也可能是不确定的。1).通过softmax(实线1b)传递函数的点估计(实线1a)会导致对远离训练数据的点进行不合理的高置信度外推。例如，X 将被分类为概率为1的第1类。然而，通过softmax(阴影区域1b)传递分布(阴影区域1a)可以更好地反映远离训练数据的分类不确定性。

模型不确定性对于深度学习从业者来说也是必不可少的。有了模型置信度，我们可以明确地处理不确定输入和特殊情况。例如，在分类的情况下，模型可能返回一个具有高度不确定性的结果。在这种情况下，我们可能决定将输入传递给人工进行分类。这可能发生在邮局，根据邮政编码分拣信件，或在核电厂的系统负责关键基础设施(琳达等人，2009)。不确定性在强化学习(RL)中也很重要(Szepesvari´，2010)。有了不确定性信息，智能体可以决定何时开发和何时探索其环境。RL的最新进展是利用神经网络进行q值函数逼近。这些函数用来估计代理可以采取的不同行动的质量。贪心搜索通常用于智能体以一定概率选择其最佳行为，并以其他方式进行探索。通过对智能体q值函数的不确定性估计，可以使用诸如汤普森抽样(Thompson - son, 1933)之类的技术来更快地学习。

贝叶斯概率论为我们提供了基于数学的工具来推断模型的不确定性，但这些通常伴随着令人望而却步的计算成本。我们表明，在神经网络中使用dropout(及其变体)可以被解释为一个众所周知的概率模型的贝叶斯近似:高斯过程(GP) (Rasmussen & Williams, 2006)。深度学习中的许多模型都使用Dropout来避免过拟合(Srivastava et al.， 2014)，我们的解释表明Dropout近似地集成了模型的权重。我们开发了工具来表示现有的dropout神经网络的模型不确定性-提取迄今为止被丢弃的信息。这在不牺牲计算复杂性和测试精度的情况下，减轻了深度学习中表示模型不确定性的问题。