预训练技术
傻傻的看着
这个作者很懒,什么都没留下…
展开
-
高级模型初始化(RBM)
受限玻尔兹曼机网络结构图(RBM)RBM包含两个层:可见层(visible layer)和隐藏层(hidden layer)。神经元之间的连接是全连接,即可见层中的每一个神经元与隐藏层中的神经元相连,隐藏层中的神经元也与可见层中的每一个神经元连接。BMP简单解释能量函数和概率分布RBM模型是一个基于能量的模型,因此要首先定义一个能量函数,并利用能量函数引入一系列的相关概...原创 2018-11-11 20:25:31 · 2744 阅读 · 0 评论 -
DBN及预训练
深度置信网络如果,把hidden layers的层数增加,可以得到DBM;如果在靠近visible layer的部分使用贝叶斯置信网络(有向图模型,限制层中结点之间没有连接),在最远离可视层的部分使用RBM,就可以得到DBN训练过程:1.首先充分训练第一个RBM;2.固定第一个RBM的权重和偏移量,然后使用其隐性神经元的状态,作为第二个RBM的输入向量;3.充分训练第二个R...原创 2018-11-11 20:33:56 · 2202 阅读 · 0 评论