NIPS2018深度学习(18)|亮点: 贝叶斯深度学习;图卷积(论文及代码)

[1] SLANG: Fast Structured Covariance Approximations for Bayesian Deep Learning with Natural Gradient

Aaron Mishkin，Frederik Kunstner，Didrik Nielsen，Mark Schmidt，Mohammad Emtiyaz Khan

University of British Columbia，Ecole Polytechnique Fédérale de Lausanne，RIKEN Center for AI Project

https://papers.nips.cc/paper/7862-slang-fast-structured-covariance-approximations-for-bayesian-deep-learning-with-natural-gradient.pdf

在深度学习模型中，不确定性估计计算非常复杂，即时对后验分布进行高斯逼近也非常困难。虽然利用协方差矩阵会得到比较差的不确定性估计，但是现有方法通常利用对协方差矩阵进行对角逼近来得到不确定性估计。

这篇文章针对上述问题，提出了一种解决方案，提出了一种新的随机低秩近似自然梯度（SLANG，stochastic, low-rank, approximate natural-gradient）方法，进而解决大型深层模型中的变分推理问题。这种方法利用对数似然度并且基于网络中的梯度反向传播来估计对角并且低秩的结构。这就减少了梯度的计算量，而不像计算整个变分目标函数中的梯度那样需要很多计算量。

本文所提出的方法不仅速度较快，而且不确定估计比平均场方法更加准确。

几种方法在数据集USPS上的效果对比如下

SLANG的推导图示如下

其中(6)式为

(7)式为