【论文阅读】 A Survey on Uncertainty Quantification Methods for Deep Learning：不确定性量化方法综述

总结：不确定性量化方法综述

期刊名与发表时间

• 期刊名：ACM Computing Surveys
• 发表时间：2023年8月

针对的新问题

1. 深度神经网络（DNN）的过度自信预测问题：DNN在某些情况下会做出错误但过度自信的预测，这在自动驾驶、医疗诊断等高风险应用中可能导致严重后果。
2. 不确定性来源的分类与量化：现有研究多从网络架构或贝叶斯方法角度分类，而忽略了不确定性来源（数据不确定性与模型不确定性）的区分，导致实践中难以选择合适的UQ方法。
3. 实际应用中的需求：需要系统性地总结UQ方法，并比较其优缺点，以指导高风险领域的选择与优化。
4. 不确定性的来源：在深度学习中，不确定性量化（UQ）旨在度量预测的不确定性，这对于高风险领域（如自动驾驶、医疗诊断等）至关重要。UQ主要分为两大类：数据不确定性和模型不确定性。
   数据不确定性（Aleatoric Uncertainty）：指数据本身的随机性或噪声（如传感器噪声、标注不一致等），即使收集更多数据也无法减少。 模型不确定性（Epistemic Uncertainty）：源于模型的缺陷或训练过程中的不完备性，可以通过增加训练数据来减少。

---

方法总结

1. 模型不确定性（Model Uncertainty）

定义：与模型训练过程相关的不确定性，可通过增加数据减少。
主要方法：

1. 贝叶斯神经网络（BNN）

   • **期刊: Machine Learning (2021)
   • **问题: 主要处理模型不确定性，特别是模型参数的不确定性。
   • 优化思路：通过变分推断（VI）、拉普拉斯近似（Laplace Approximation）、马尔可夫链蒙特卡洛（MCMC）等方法近似参数后验分布。
   • 效果：量化参数不确定性，帮助模型避免过拟合并增加泛化能力，但计算成本高。
   • 数据集：通用基准数据集（如ImageNet），适用于具有不完全数据和需要复杂模型的任务（如图像分类、回归任务）。
   • 提升效果：提供理论框架，但近似可能不准确。
   • 展望：计算复杂度高，难以在大规模数据上应用，因此需要优化推断方法和提高计算效率。改进先验分布的选择和推断算法，特别是在深度神经网络（DNN）中。

2. 集成模型（Ensemble Models）

   • 期刊: Neural Networks (2022)
   • 问题: 通过训练多个神经网络并结合其输出，来量化模型不确定性。
   • 优化思路：通过不同初始化、架构或超参数训练多个模型，利用预测方差量化不确定性。 常见的策略有自举法（Bootstrap）、**超集成法（Hyperensemble）**等
   • 效果：简单易实现，但计算和存储成本高。 通过多模型的组合，能够更全面地捕获模型的不确定性（包括架构选择和数据集差异等）。
   • 数据集：分类和回归任务基准数据集。 适用于数据量较大的任务，尤其在高维数据中表现较好
   • 提升效果：显著提升不确定性估计鲁棒性。
   • 展望：集成方法的计算开销较大，需要优化内存使用和加速推理过程。更好的模型多样性和训练策略将有助于提高模型的准确性和鲁棒性。

3. 样本分布相关方法

   • 高斯过程混合模型：结合DNN与高斯过程，捕捉样本稀疏性导致的不确定性。
   • 距离感知神经网络：通过约束特征空间距离（如双Lipschitz约束）避免特征坍塌。
   • 效果：适用于分布外（OOD）检测，但需设计特定约束。

2. 数据不确定性（Data Uncertainty）

定义：数据固有的随机性或噪声，无法通过增加数据减少。
主要方法：

1. 参数化模型

   • 优化思路：输出参数化分布（如高斯分布）的均值和方差。
   • 效果：直接建模数据噪声，但需假设分布形式。
   • 数据集：回归任务（如交通流量预测）。

2. 非参数化模型

   • 预测区间（PI）：直接输出置信区间，优化区间宽度和覆盖率。
   • 效果：无需分布假设，但需设计新损失函数。

3. 深度生成模型

   • VAE/GAN/扩散模型：学习数据分布，生成多样本以量化不确定性。
   • 效果：适用于高维结构化数据（如医学图像），但训练复杂。

3. 联合量化模型与数据不确定性

主要方法：

1. 组合方法：如BNN+预测分布或集成+预测区间，但计算成本高。
2. 证据