深度学习中的不确定性量化:技术、应用和挑战综述（一）

不确定性量化(UQ)在减少优化和决策过程中的不确定性方面起着关键作用，应用于解决各种现实世界的科学和工程应用。贝叶斯近似和集成学习技术是文献中使用最广泛的两种UQ方法。在这方面，研究人员提出了不同的UQ方法，并测试了它们在各种应用中的性能，如计算机视觉(如自动驾驶汽车和物体检测)、图像处理(如图像恢复)、医学图像分析(如医学图像分类和分割)、自然语言处理(如文本分类、社交媒体文本和惯犯风险评分)、生物信息学等。本文综述了深度学习中使用的UQ方法的最新进展，探讨了这些方法在强化学习中的应用，并强调了与UQ领域相关的基础研究挑战和方向。

论文题目：
A Review of Uncertainty Quantification in Deep Learning: Techniques, Applications and Challenges
作者：
Moloud Abdar*, Farhad Pourpanah, Member, IEEE,Sadiq Hussain, Dana Rezazadegan, Li Liu, Senior
Member, IEEE, Mohammad Ghavamzadeh, Paul Fieguth, Senior Member, IEEE, Xiaochun Cao, Senior
Member, IEEE, Abbas Khosravi, Senior Member, IEEE, URajendra Acharya, Senior Member, IEEE,
Vladimir Makarenkov and Saeid Nahavandi, Fellow, IEEE

我们处理许多领域的不确定性，从投资机会和医疗诊断到体育比赛和天气预报，目的是根据收集到的观察和不确定的领域知识做出决策。

模型的预测具有不确定性，除了在不确定性情况下固有的归纳假设外，还容易受到噪声和错误的模型推断的影响。因此，在任何基于人工智能的系统中，以可信的方式表示不确定性是非常可取的。这种自动化系统应该能够通过有效地处理不确定性而准确地执行。不确定性原理在具体学习算法[3]、主动学习(AL)[4]、[5]等人工智能设置中发挥着重要作用。

不确定性的来源发生在测试和训练数据不匹配时，数据不确定性的发生是因为类重叠或由于数据中存在噪声[6]。与数据不确定性相比，知识不确定性的估计更为困难，数据不确定性是通过最大似然训练自然测量的结果。预测中的不确定性来源对于解决不确定性估计问题至关重要[7]。不确定性主要有两种来源，概念上称为任意不确定性和认知不确定性8。

数据中不可约的（Irreducible）不确定性导致预测中的不确定性是一种任意不确定性(也称为数据不确定性)。这种类型的不确定性不是模型的属性，而是数据分布的固有属性;因此它是不可约的。另一种不确定性是认知不确定性(也称为知识不确定性)，这种不确定性是由于知识和数据不足而产生的。人们可以定义模型来回答基于模型的预测中不同的人类问题。在数据丰富的问题中，存在大量数据的集合，但可能信息贫乏[10]。在这种情况下，基于人工智能的方法可以用来定义有效的模型，从数据中描述紧急特征。这些数据往往是不完整的、有噪声的、不一致的和多模态的[1]。

不确定性量化(UQ)是当今许多关键决策的基础。没有UQ的预测通常是不可信和不准确的。为了理解深度学习(Deep Learning, DL)[11]，[12]过程生命周期，我们需要理解UQ在DL中的作用。DL模型从收集最全面和潜在相关的数据集开始，这些数据集可用于决策过程。深度学习场景的设计是为了满足一些性能目标，以便在使用标记数据训练模型后选择最合适的深度学习架构