deterministic variational inference for robust BNNs 摘要速览

最新推荐文章于 2020-12-10 22:47:24 发布

FocusOneThread

最新推荐文章于 2020-12-10 22:47:24 发布

阅读量345

点赞数

分类专栏：深度学习

本文链接：https://blog.csdn.net/guotong1988/article/details/104892979

版权

深度学习专栏收录该内容

212 篇文章 5 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文探讨了在贝叶斯神经网络(BNNs)中，变分推断的不稳定性问题，并提出两种创新方法：1) 确定性动量近似以消除梯度方差；2) 结合层级先验和经验贝叶斯方法自动选择先验方差。这些改进使得BNNs在小数据集上的预测性能更优，尤其在异方差回归任务中表现出色。

摘要由CSDN通过智能技术生成

DETERMINISTIC VARIATIONAL INFERENCE FOR ROBUST BAYESIAN NEURAL NETWORKS
https://openreview.net/group?id=ICLR.cc/2019/Conference

贝叶斯网络在只有有限数据训练时很不错，为了用深度学习解决概率推理，variational Bayes 的理论基础，应用性和计算效率都不错，然而为什么 variational Bayes 在真正给BNNs应用很有限呢？我们提出神经网络的variational inference 是不稳固的，即需要仔细的初始化和调整初始变量（先验）以及控制 Monte Carlo gradient估计的方差才能成功的实现它，

我们提供两个创新来让VB成为一个BNN的鲁棒的推理工具，1）我们介绍一个新颖的确定性方法来近似神经网络的动量，即消除梯度方差， 2）我们介绍一个给参数的层级先验信息及一个新颖的经验贝叶斯方法过程来自动选择先验的方差，

结合这两个创新，方法非常有效和鲁棒，在异方差回归应用上有很好的预测效果。

贝叶斯方法结合深度学习（BNNs）对于在小数据集上的减少过拟合和正则化很有帮助，但是有两个缺陷：Monte Carlo方法受到方差不好控制的影响，以及选择先验信息很难，先验信息很难转化为神经网络参数，即需要很好的初始化才能实际应用。

本文提出，1）为解决Monte Carlo variational inference（MCVI）的高方差，我们提出新颖的确定性的估计近似来降低方差为零， 2）我们推导出一个鲁棒的经验贝叶斯Empirical Bayes (EB) 和引入层级来选择先验信息。