上一节我们从Hopfield神经网络存在伪吸引子的问题出发,为了解决伪吸引子带来的问题,详细介绍了模拟退火算法,本节也是基础性的讲解,为了解决伪吸引子还需要引入另外一个重要概念即:玻尔兹曼分布。本篇将详解玻尔兹曼分布,但是还是先说说为什么要引入玻尔兹曼分布,因为为了解决Hopfield神经网络的伪吸引子的问题,引入模拟退火算法和玻尔兹曼分布,下一节将在Hopfield神经网络中加入这两个算法,组合成一个新的神经网络即随机神经网络或者玻尔兹曼机。因为本人喜欢刨根问底,所以会深入挖掘引入的知识,这样下节讲起来就会很容易,也会更容易理解,不会觉的太突兀,另外一点就是希望能深入理解和掌握玻尔兹曼机,因为后面还会引入受限玻尔兹曼机、深度信念网络、CNN、RNN。因此我们正在慢慢的靠近深度学习的核心区域,前面就说过,所有的算法都不是拍着脑袋想出来的,他是根据出现的问题,慢慢研究出算法的,我们要想深入理解深度学习,沿着他的发展历程学习将更容易,更具有体系化,以后遇到问题也知道如何解决,您说呢?好,废话不多说,下面就开始主题:玻尔兹曼分布。
玻尔兹曼分布:
在物理学(特别是统计力学)中,麦克斯韦 - 玻尔兹曼分布是以詹姆斯·克拉克斯·马克斯韦尔和路德维希·波兹曼命名的特定概率分布。
这是第一次定义,并且用于描述颗粒速度在理想化的气体,其中所述颗粒的固定容器内自由移动,而不会彼此互动,除了非常简短的碰撞,其中它们与彼此或与它们的热环境交换能量和动量。在该上下文中,术语“颗粒”仅指气态颗粒(原子或分子),并且假设颗粒系统已达到热力学平衡。[1] 这种粒子的能量遵循所谓的