DBN(深度信念网络)
文章平均质量分 64
尚小馨
青春须早为,岂能长少年
展开
-
Deep Learning的基本思想以及训练过程
一 、DL的基本思想(通俗易懂)假设我们有一个系统S,它有n层(S1,…Sn),它的输入是I,输出是O,形象地表示为: I =>S1=>S2=>…..=>Sn => O,如果输出O等于输入I,即输入I经过这个系统变化之后没有任何的信息损失(呵呵,大牛说,这是不可能的。信息论中有个“信息逐层丢失”的说法(信息处理不等式),设处理a信息得到b,再对b处理得到c,那么可以证明:a和c的互信息不会超过原创 2016-01-22 13:48:03 · 780 阅读 · 0 评论 -
Restricted Boltzmann Machine (RBM)限制波尔兹曼机
假设有一个二部图,每一层的节点之间没有链接,一层是可视层,即输入数据层(v),一层是隐藏层(h),如果假设所有的节点都是随机二值变量节点(只能取0或者1值),同时假设全概率分布p(v,h)满足Boltzmann 分布,我们称这个模型是Restricted BoltzmannMachine (RBM)。![这里写图片描述](http://img.blog.csdn.net/2016012213512原创 2016-01-22 13:52:49 · 819 阅读 · 0 评论 -
Deep Belief Networks深信度网络
DBNs是一个概率生成模型,与传统的判别模型的神经网络相对,生成模型是建立一个观察数据和标签之间的联合分布,对P(Observation|Label)和 P(Label|Observation)都做了评估,而判别模型仅仅而已评估了后者,也就是P(Label|Observation)。对于在深度神经网络应用传统的BP算法的时候,DBNs遇到了以下问题: (1)需要为训练提供一个有标签的样本集;(2)原创 2016-01-22 14:03:07 · 4189 阅读 · 0 评论