小编终于忙完了,可以放松一会了,马上就来更新了。
这章中比较完善的讲解了深度玻尔兹曼机(DBM),通过将DBM拆解为若干个限制玻尔兹曼机(RBM),然后对RBM进行分层的来进行预训练,并将其预训练得到的权重直接赋予DBM的方法。实际上,这只是最经典的训练DBM的方法,近些年诞生了很多直接训练的方法,效果也很不错,现在基本也没有人用预训练了。但是,这种基本思想还是很值得学习的。
本章的主要内容,介绍了四种玻尔兹曼模型的发展,并重点介绍了DBN模型的不足之处(对中间层建模用到一层的参数),从而引出了DBM模型;介绍了DBM模型中的Double counting问题,并对其进行了详细的解释;最后对DBM模型进行了总结,并解释了边界层的处理方法。
实际上DBM模型的演变都非常的Intuitive,不需要太多的数学证明也可以理解,其数学证明表明DBM对于深度信念网络而言(DBN)ELBO更高,而且增加层数可以增加ELBO。个人觉得这样的思想在科研中很重要,很多情况都是有一个intuitive的想法,然后实验发现确实work,最后寻找证明的方法。(个人愚见)
本节的主要内容:
- 玻尔兹曼机模型的发展
- DBN的问题,中间层建模只使用到其中一层的参数
- 采用几何平均的方法进行改进
- DBM中的Double Counting问题
- DBM总结和边界层的处理方法
用了用Markdown,小编还是偏爱Latex一些。点击一下图片,放大以后会清晰很多。Latex写得有时有点眼花,我没有过多的时间去勘误,有不正确的地方,也欢迎各位同学批评指正!本系列,主要在于整理完善白板推导系列课程的内容,一些模糊的地方我也做出了补充,并在一些地方提出了我自己的思考,希望给小伙伴们带来帮助。
PDF下载地址,想要本小节PDF的同学,可以在评论区留下您的邮箱。或者在如下链接中下载:
2019ChenGong/Machine-Learning-Notesgithub.com扩展阅读:
轻狂书生:[机器学习基础 26]白板推导 玻尔兹曼机
轻狂书生:[机器学习基础 25]白板推导 深度信念网络
轻狂书生:[机器学习基础 22]白板推导 直面配分函数
轻狂书生:[机器学习基础 20]白板推导 受限玻尔兹曼机
【机器学习】白板推导系列(二十九) ~ 深度玻尔兹曼机(Deep Boltzmann Machine)_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
![a9496caedb122f45c404e8ab5a660861.png](https://i-blog.csdnimg.cn/blog_migrate/1bfb72457d5a32cb237a2a7a448c194c.jpeg)
![8d11258cb795b4021676a170d0f8df69.png](https://i-blog.csdnimg.cn/blog_migrate/0be20bde6a2345b30cb06b77a4b074b3.jpeg)
![9a93c318eed2dc988f056bfd7eed5470.png](https://i-blog.csdnimg.cn/blog_migrate/b0fd3b3beb07c87dec47d700e0ec0740.jpeg)
![44013055ef22b41541ff43b56297ba05.png](https://i-blog.csdnimg.cn/blog_migrate/6d23ea281a46a8f63407cd5ce7eff982.jpeg)
![4c2d164b46483f29975fbe97ff7e8072.png](https://i-blog.csdnimg.cn/blog_migrate/f4e1d4d4b8d4e07c27f5846ca49c9e91.jpeg)
![6582f724b21ceb19d8de5cc0d05c9576.png](https://i-blog.csdnimg.cn/blog_migrate/1680c53242981063fb8c57513f993e74.jpeg)
![78ca70f67a5ad3ff0495324cfb685ff3.png](https://i-blog.csdnimg.cn/blog_migrate/133800f3cf57bd8a3303e810c993c6bd.jpeg)
![5c2c1948eaed8300cfa3392e10d957dd.png](https://i-blog.csdnimg.cn/blog_migrate/a3fab5056ac91d03eeb3dba352387573.jpeg)