Uncertainty——ICML 2021、IPMI 2021

1. Uncertainty Principles of Encoding GANs

  在实践中证明了三种不确定性原则：a）“完美”编码器和生成器不能同时连续，这意味着当前编码 GAN 的框架不适; b）神经网络不能正常地近似于底层编码器和生成器，无法在以前的理论中获得“完善”的编码器和发电机; c）神经网络不能同时稳定和准确，表明保真度和解耦之间的训练和平衡难度。

2. Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation

  基于 CNML，提出了分期条件归一化最大似然（ACNML）方法作为深度网络不确定性估计、校准和分布外鲁棒性的可扩展通用方法。

3. A Bit More Bayesian: Domain-Invariant Learning with Uncertainty

  域泛化由于域移位和目标域数据无法访问引起的不确定性是具有挑战性的。本文用变分贝叶斯推断的概率公式耦合域的不变性，以探索域不变性原理，其中派生域不变的表示器和分类器由双层贝叶斯神经网络共同建立。

4. Bayesian Deep Learning via Subnetwork Inference*

  表明只需对一小部分模型权重进行推理即可获得准确的预测后验。其他权重保留为点估计。这个子网推理框架使我们能够在这些子集上使用表达能力强的、容易处理的后验近似。我们将子网络线性化拉普拉斯实现为一种简单、可扩展的贝叶斯深度学习方法：我们首先获得所有权重的 MAP 估计，然后使用线性化拉普拉斯近似推断子网络上的完整协方差高斯后验。我们提出了一种子网选择策略，旨在最大限度地保留模型的预测不确定性。

5. Sparse Bayesian Learning via Stepwise Regression

  稀疏贝叶斯学习 (SBL) 是在概率模型中实现稀疏性的强大框架，本文为 SBL 提出了一种称为相关匹配追踪 (RMP) 的坐标上升算法，并表明随着其噪声方差参数变为零，RMP 表现出与逐步回归的惊人联系。？？？

6. Bayesian Attention Belief Networks*

  本文介绍了贝叶斯注意力信念网络，它通过对具有伽马分布层次结构的非标准化注意力权重进行建模来构建解码器网络，以及通过将威布尔分布与确定性向上随机向下结构堆叠以近似后验的编码器网络。由此产生的自动编码网络可以以具有变分下界的可微分方式进行优化。将具有确定性注意力的任何模型（包括预训练的模型）转换为建议的贝叶斯注意力信念网络是很简单的。在各种语言理解任务中，方法在准确性、不确定性估计、跨域泛化和对抗性攻击的鲁棒性方面优于确定性注意和最先进的随机注意。

7. Quantile Regression for Uncertainty Estimation in VAEs with Applications to Brain Lesion Detection

  变分自动编码器 (VAE) 已成为医学图像中的病变检测等应用中最流行的异常检测模型之一，但 VAE 中均值和方差的联合优化会导致众所周知的收缩或方差低估问题。作者提出另一种 VAE 模型 Quantile-Regression VAE (QR-VAE)，它通过估计给定输入图像的条件分位数来避免这种方差收缩问题。

8. Is Segmentation Uncertainty Useful?*

  概率图像分割对分割问题中不同的预测置信度和固有的歧义进行编码。 虽然不同的概率分割模型旨在捕捉分割不确定性和歧义的不同方面，但在不确定性应用的背景下很少讨论这些建模差异。 我们考虑分割不确定性的两个常见用例，即分割质量评估和主动学习。 我们考虑了四种既定的概率分割策略，讨论了它们的建模能力，并研究了它们在这两项任务中的表现。 我们发现对于所有模型和两个任务，返回的不确定性与分割错误呈正相关，但并未证明对主动学习有用。