NIPS2018深度学习(18)|亮点: 贝叶斯深度学习;图卷积(论文及代码)

[1] SLANG: Fast Structured Covariance Approximations for Bayesian Deep Learning with Natural Gradient

Aaron Mishkin,Frederik Kunstner,Didrik Nielsen,Mark Schmidt,Mohammad Emtiyaz Khan

University of British Columbia,Ecole Polytechnique Fédérale de Lausanne,RIKEN Center for AI Project

https://papers.nips.cc/paper/7862-slang-fast-structured-covariance-approximations-for-bayesian-deep-learning-with-natural-gradient.pdf

在深度学习模型中,不确定性估计计算非常复杂,即时对后验分布进行高斯逼近也非常困难。虽然利用协方差矩阵会得到比较差的不确定性估计,但是现有方法通常利用对协方差矩阵进行对角逼近来得到不确定性估计。

这篇文章针对上述问题,提出了一种解决方案,提出了一种新的随机低秩近似自然梯度(SLANG,stochastic, low-rank, approximate natural-gradient)方法,进而解决大型深层模型中的变分推理问题。这种方法利用对数似然度并且基于网络中的梯度反向传播来估计对角并且低秩的结构。这就减少了梯度的计算量,而不像计算整个变分目标函数中的梯度那样需要很多计算量。

本文所提出的方法不仅速度较快,而且不确定估计比平均场方法更加准确。

几种方法在数据集USPS上的效果对比如下

640?wx_fmt=png

SLANG的推导图示如下

640?wx_fmt=png

其中(6)式为

640?wx_fmt=png

(7)式为

  • 0
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值