受限玻尔兹曼机（RBM）是一种无环神经网络，其可见层与隐藏层全连接但内部不连接。网络通过异步更新模拟玻尔兹曼分布，用于学习数据的潜在特征。训练通常采用对比散度方法，目标是使网络输出分布接近训练集分布。训练过程中，使用梯度上升优化权值和偏置，通过吉布斯采样近似计算联合分布的期望。新算法通过KL距离判断权值和偏置的优化效果。
受限玻尔兹曼机是波尔滋蔓机去掉相同层间连接的网络。
即受限波尔滋蔓机可见层之间没有连接，隐藏层之间也没有连接，但是可见层和隐藏层之间是全连接。
受限玻尔兹曼机与玻尔兹曼机一样，是一个随机神经网络系统。
特点：每个神经元的取值只能是0，或者1
训练方法：对比散度
受限玻尔兹曼机变化的过程，或者说是运行过程：
给可见层一个输入，然后系统会开始震荡，最后所有的神经元稳定下来，在可见层得到一个输出。
神经元的状态变化不是固定的，是以一定概率分布进行变化的。
当网络进入稳定状态后，所有神经元的状态，包括隐藏层和可见层的联合分布是符合玻尔兹曼分布的。（此处需参考玻尔兹曼机的原理）
因为受限玻尔兹曼机的神经元是异步更新的，所以在已知权值和偏置的情况下，第j个神经元更新，那么首先要计算出第j个神经元的输入，然后算出该神经元取1的概率，最后从[0，1]的均匀分布中随机产生一个数，如果该数大于取1的概率，那么就取0，如果小于等于取1的概率值，那么就取1。该神经元取1的概率是：
最低0.47元/天 解锁文章
扫一扫
403
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
