受限玻尔兹曼机详解

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/xyfengbo/article/details/78736011

第一章:受限玻尔兹曼机

1.1 马尔科夫链

随机变量:某电子元器件,不同时刻由于原子的移动而产生不同的电压,故在不同的时刻会产生一系列不同的电压,而且在不同时刻t,产生的电压服从不同的分布,定义:某时刻t,电压v(t)就是一个随机变量,在时间t轴上,{X(t),t>=0}定义为一个随机过程。当v(t)是连续的,称为连续参数的随机过程。当v(t)是离散的称为离散参数随机过程。比如天气是否下雨,x(t)=0,1。

由于随机过程是不同的时间t对应不同的分布,当在某一个时间段中,{t>=0且t<N}时候,对应的分布相同,这样的随机过程称为平稳随机过程

马尔科夫性


时间和状态都是离散的马尔科夫过程称为马尔科夫链

马氏转移概率矩阵如下:

     

 

齐次马氏链:昨天推今天的转移矩阵和今天推明天的转移矩阵相同,这样的叫齐次马氏链。昨天推出今天这样的一步变化转移,对应的转移矩阵叫一步转移矩阵,昨天推明天的是二步转移矩阵。

CK方程,求解N步转移概率矩阵:

1.2受限玻尔兹曼机

玻尔兹曼机如图所示:

可见层和隐层是全连接,输入数据输入到可见层中,最后网络收敛到一个稳态。其中缺点有:1.计算时间漫长,特别是无约束自由迭代的负向阶段。2.对抽样噪声敏感。3.很难找到合适的案例。

受限玻尔兹曼机(RBM)结构如下:

他和BM想比较,主要是输入层和隐层之间没有全连接,输入相对是独立的。

 

1.3总结

受限玻尔兹曼机(RBM),只有输入层和隐层,输入层输入后经过权值的调整得到隐层,隐层再可以反推出输入层的数据,这个过程和自编码器有点类似,自编码器有输入层、隐层和输出层,采用BP误差反向传播的计算方法,目标函数为求取误差平方和最小。RBM相当于自编码的输入和输出重合,形成RBM的输入层。其采用的算法是CD快速计算方法,采用吉布斯抽样,符合玻尔兹曼分布,使其网络收敛得到一个稳态的过程。比如训练的数据有5种分类,经过玻尔兹曼分布后网络达到一个稳态。测试数据输入后,网络的输出以一定的概率一定会落到5种分类之一,这个是RBM相对于BM的一个优点,没有伪吸引子的影响,同时由于CD快速学习算法的出现,才使得RBM能够克服BM的缺点,在工业界可以大规模的使用。

展开阅读全文

没有更多推荐了,返回首页