深度学习中不确定性估计的基准算法

1 Benchmark算法

算法	Paper
Bayes by Backprop	“Weight uncertainty in neural networks.” ICML, 2015.[Link]
Monte Carlo Dropout	“Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning.” ICML, 2016.[Link]
Deep Ensembles	“Simple and scalable predictive uncertainty estimation using deep ensembles.” NeurIPS, 2017.[Link]
Calibrated Regression	“Accurate Uncertainties for Deep Learning Using Calibrated Regression.” ICML, 2018.[Link]
Probabilistic Backpropagation	“Probabilistic backpropagation for scalable learning of bayesian neural networks.” ICML, 2015.[Link]
Ensemble MC Dropout	"Understanding Measures of Uncertainty for Adversarial Example Detection."UAI, 2018.[Link]
Prior Networks	“Predictive uncertainty estimation via prior networks.” NeurIPS, 2018.[Link]
Deterministic Uncertainty Quantification	“Uncertainty Estimation Using a Single Deep Deterministic Neural Network.” ICML, 2020.[Link]
Simultaneous Quantile Regression	“Single-Model Uncertainties for Deep Learning.” NeurIPS, 2019.[Link]
Approximated Variance Propagation	“Sampling-free Epistemic Uncertainty Estimation Using Approximated Variance Propagation.” ICCV, 2019.[Link]
SDE-Net	“SDE-Net: Equipping Deep Neural Networks with Uncertainty Estimates.” ICML, 2020. [Link]
Deterministic Variational Inference	“Deterministic Variational Inference for Robust Bayesian Neural Networks” ICLR, 2019. [Link]

2 任务和数据集

• 简单回归问题探索不确定性的意义

  • Boston housing、Concrete、Energy、Kin8nm、Naval propulsion plant、Power plant、Protein、Wine、Yacht、Year Prediction MSD（主要来源于Kaggle，涉及真实世界中真实数据类似一段时间的股票，主要用于回归拟合）

• 量化各种任务中的不确定性

  • 热布局数据集
  • Cityscapes、CamVid、NYUv2（语义分割）、

• 医疗图像（包括分类，分割；能否可靠的指导医学实践？）

• 自动驾驶（自动驾驶系统识别出的前方物体是否可信？）

• 主动学习（什么样的样本需要被标注？）

• 强化学习（如何权衡探索与利用？）

• 异常样本OOD检测（如何检测？）

  • MNIST、CIFAR10、CIFAR100、SVHN、TinyImageNet、LSUN、Fashion MNIST、KMNIST、 SEMEION、STL-10

• 对抗样本检测（如何检测？）

• 理解模型、数据（我们知道什么又不知道什么？）

• 模型鲁棒研究

• …