keras 受限玻尔兹曼机_[机器学习基础 26]白板推导 玻尔兹曼机

小编最近在做实验和写论文，强化学习这玩意的实验量是真的大。做的我发晕，最近的更新会会稍微慢一点。但是小编会坚持写完的，在写的过程中，latex写的有点晕，会有一些小错误，小编还没来得及改正，之后小编会重新的检查和整理所有的笔记，全当复习。

理一下这章的逻辑思路。首先，我们描述了什么是玻尔兹曼机（Boltzmann Machines），描述了其模型表示。下一个问题，就是如何利用观测数据集来求解参数，我们介绍了基于极大似然的梯度上升，经过推导得出了似然梯度的方向。但是，似然梯度中涉及到对

和

的采样。那么难点就转移到了，如何从

和

中进行采样。通过分析，得到玻尔兹曼机求解主要的难点就是

很难求解。

我们和受限玻尔兹曼机的采样进行了对比，受限玻尔兹曼机中的后验

可以直接计算，而玻尔兹曼机中不行。所以，为了求解后验分布，介绍了MCMC中的Gibbs采样的思想。Gibbs采样是一维一维的采样，那么需要满足单个节点的条件概率分布可以求出。幸运的是，Boltzmann Machines中可以求出。下一步则进行了单个节点条件概率的详细推导。

MCMC虽然提供了一个理论上的可行方法。可惜，无法解决大规模求解的问题。所以，介绍了Hinton提出的变分推断（Variational Inference），用一个简单分布

来近似

。通过推导，我们得到了

的不动点方程，使用坐标上升法即可得到

的参数表达式。从而成功的求解

。

本节的主要内容：

1. 玻尔兹曼机的模型表示；
2. 玻尔兹曼机的似然梯度求解方法，得到梯度的表达式；
3. 基于MCMC的梯度求解方法；
4. 条件概率推导；
5. 基于变分推断的梯度求解方法。

点击一下图片，放大以后会清晰很多。Latex写得有时有点眼花，我没有过多的时间去勘误，有不正确的地方，也欢迎各位同学批评指正！本系列，主要在于整理完善白板推导系列课程的内容，一些模糊的地方我也做出了补充，并在一些地方提出了我自己的思考，希望给小伙伴们带来帮助。

PDF下载地址，想要本小节PDF的同学，可以在评论区留下您的邮箱。

2019ChenGong/Machine-Learning-Notes

扩展阅读：

轻狂书生：[机器学习基础 23]白板推导 近似推断

轻狂书生：[机器学习基础 22]白板推导 直面配分函数

轻狂书生：[机器学习基础 20]白板推导 受限玻尔兹曼机

轻狂书生：[机器学习基础 14]白板推导 马尔可夫链蒙特卡罗采样

【机器学习】白板推导系列(二十八) ～ 玻尔兹曼机(Boltzmann Machine)_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili