受限玻尔兹曼机_[机器学习基础 27]白板推导 深度玻尔兹曼机

小编终于忙完了，可以放松一会了，马上就来更新了。

这章中比较完善的讲解了深度玻尔兹曼机（DBM），通过将DBM拆解为若干个限制玻尔兹曼机（RBM），然后对RBM进行分层的来进行预训练，并将其预训练得到的权重直接赋予DBM的方法。实际上，这只是最经典的训练DBM的方法，近些年诞生了很多直接训练的方法，效果也很不错，现在基本也没有人用预训练了。但是，这种基本思想还是很值得学习的。

本章的主要内容，介绍了四种玻尔兹曼模型的发展，并重点介绍了DBN模型的不足之处（对中间层建模用到一层的参数），从而引出了DBM模型；介绍了DBM模型中的Double counting问题，并对其进行了详细的解释；最后对DBM模型进行了总结，并解释了边界层的处理方法。

实际上DBM模型的演变都非常的Intuitive，不需要太多的数学证明也可以理解，其数学证明表明DBM对于深度信念网络而言（DBN）ELBO更高，而且增加层数可以增加ELBO。个人觉得这样的思想在科研中很重要，很多情况都是有一个intuitive的想法，然后实验发现确实work，最后寻找证明的方法。（个人愚见）

本节的主要内容：

1. 玻尔兹曼机模型的发展
2. DBN的问题，中间层建模只使用到其中一层的参数
3. 采用几何平均的方法进行改进
4. DBM中的Double Counting问题
5. DBM总结和边界层的处理方法

用了用Markdown，小编还是偏爱Latex一些。点击一下图片，放大以后会清晰很多。Latex写得有时有点眼花，我没有过多的时间去勘误，有不正确的地方，也欢迎各位同学批评指正！本系列，主要在于整理完善白板推导系列课程的内容，一些模糊的地方我也做出了补充，并在一些地方提出了我自己的思考，希望给小伙伴们带来帮助。

PDF下载地址，想要本小节PDF的同学，可以在评论区留下您的邮箱。或者在如下链接中下载：

2019ChenGong/Machine-Learning-Notes​github.com

扩展阅读：

轻狂书生：[机器学习基础 26]白板推导 玻尔兹曼机

轻狂书生：[机器学习基础 25]白板推导 深度信念网络

轻狂书生：[机器学习基础 22]白板推导 直面配分函数

轻狂书生：[机器学习基础 20]白板推导 受限玻尔兹曼机

【机器学习】白板推导系列(二十九) ～ 深度玻尔兹曼机(Deep Boltzmann Machine)_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili