关闭

受限波尔兹曼机

456人阅读 评论(0) 收藏 举报
分类:

深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。


第三篇,谈谈自己对最近几年颇为流行的受限波尔兹曼网络RBM的理解。我不打算详细描述其生物学运行机理和相关的算法推导过程,因为网络上已经有太多的教程可以参考。


1.  概述

       前面描述的神经网络模型是一种确定的结构。而波尔兹曼网络是一种随机网络。如何来描述一个随机网络呢?很多书上有大量的篇幅介绍其原理。这里把它总结为以下两点。

     

        第一,概率分布函数。由于网络节点的取值状态是随机的,从贝叶斯网的观点来看,要描述整个网络,需要用三种概率分布来描述系统。即联合概率分布,边缘概率分布和条件概率分布。要搞清楚这三种不同的概率分布,是理解随机网络的关键,这里向大家推荐的书籍是张连文所著的《贝叶斯网引论》。很多文献上说受限波尔兹曼是一个无向图,这一点也有失偏颇。从贝叶斯网的观点看,受限波尔兹曼网应该是一个双向的有向图。即从输入层节点可以计算隐层节点取某一种状态值的概率,反之亦然.


        第二,能量函数。随机神经网络是根植于统计力学的。受统计力学中能量泛函的启发,引入了能量函数。能量函数是描述整个系统状态的一种测度。系统越有序或者概率分布越集中,系统的能量越小。反之,系统越无序或者概率分布越趋于均匀分布,则系统的能量越大。能量函数的最小值,对应于系统的最稳定状态。


2. 网络结构和学习算法

    2.1  RBM网络结构如下:

                        


     正如前面我们提到的,描述RBM的方法是能量函数和概率分布函数。实际上,把它们二者结合起来,也就是概率分布是能量函数的泛函,其能量泛函和联合概率分布如下:


                         


                             

其中,上式中的Z是归一化系数,它的定义如下:

                                           

而输入层的边缘概率,是我们感兴趣的,它的计算如下:

                                        

因为,网络学习的目的是最大可能的拟合输入数据。根据极大似然学习法则,我们的目的就是对所以的输入,极大化上面的公式(4),公式4在统计学里也称作似然函数,更多的我们对其取对数,也就是对数似然函数,考虑所有的输入样本,其极大化对数似然函数的定义如下:

                                 (5)

             注意,上面的公式中,多了个theta。theta就是网络的权值,包括公式(1)中的w,a,b,是网络学习需要优化的参数。其实在上面所有的公式中都有theta这个变量,只是为了便于描述问题,我把它们都给抹掉了。


 2.2  对比度散度学习算法


         根据公式5,逐步展开,运用梯度下降策略,可以推导出网络权值的更新策略如下:


                                   

          其中,第一项,是给定样本数据的期望,第二项是模型本身的期望。数据的期望,很容易计算,而模型的期望不能直接得到。一种典型的方法是通过吉布斯采样得到,而Hinton提出了一种快速算法,称作contrastive divergence算法。这种算法只需迭代k次,就可以获得对模型的估计,而通常k等于1. CD算法在开始是用训练数据去初始化可见层,然后用条件分布计算隐层;然后,再根据隐层,同样,用条件分布来计算可见层。这样产生的结果是对输入的一个重构。CD算法将上述公式6表示为:

                    

                                                            (7)




具体算法流程可以看参考西安交大 张春霞等人的论文。


        另外,网络上很多讲波尔兹曼机的文献都提到了模拟退火算法,但是在受限玻尔兹曼机里面却木有提到。个人认为是网络能量函数的定义里面对退火温度默认为1了。如果这个温度不是1,则应该在能量函数里面加上当前迭代的退火温度T,这时候,网络参数的学习率将会是一个逐步衰减的过程。Persistent Contrastivedivergence算法的迭代过程学习率是一个逐步衰减的过程,可以认为是考虑了退火过程的算法。


0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:108841次
    • 积分:1691
    • 等级:
    • 排名:千里之外
    • 原创:55篇
    • 转载:49篇
    • 译文:0篇
    • 评论:20条
    最新评论