ICML 2018 深度学习论文及代码集锦(9)

[1] Fast and Scalable Bayesian Deep Learning by Weight-Perturbation in Adam

Mohammad Emtiyaz Khan, Didrik Nielsen, Voot Tangkaratt, Wu Lin, Yarin Gal, Akash Srivastava

RIKEN Center for Advanced Intelligence project, University of British Columbia, University of Oxford, University of Edinburgh

http://proceedings.mlr.press/v80/khan18a/khan18a.pdf

这篇论文提出的自然梯度算法用以简化高斯平均场辩分推理。该算法可以利用Adam优化器来实现，具体而言在估计梯度时对网络权重加以抖动，此时利用自适应学习率的向量可以相对容易得到不确定估计。这种做法需要内存较少，计算较少，实现上也比现存变分推理简单，同时可以得到质量相当的不确定估计。

一般Adam算法跟本文所提出的Vadam对比如下，主要不同之处用红色标出

定理一

几种方法的效果对比如下

代码地址

https://github.com/emtiyaz/vadam

---

               我是分割线

---

[2] Bayesian Uncertainty Estimation for Batch Normalized Deep Networks

Mattias Teye, Hossein Azizpour, Kevin Smith

KTH Royal Institute of Technology, SEED, Science for Life Laboratory