深度信念网络

最新推荐文章于 2024-09-09 10:44:41 发布

JACK毛

最新推荐文章于 2024-09-09 10:44:41 发布

阅读量5k

点赞数 2

分类专栏： Deep Learning 文章标签：神经网络

本文链接：https://blog.csdn.net/u012746607/article/details/78663356

版权

本文介绍了深度信念网络（DBN）及其组成部分——玻尔兹曼机（RBM）。RBM分为可视层和隐藏层，用于数据编码和初始化BP神经网络。DBN通过无监督预训练和有监督微调进行学习，克服了BP网络的局限性。在DBN顶部可以添加任意分类器，如Softmax，用于特定任务。

摘要由CSDN通过智能技术生成

一般传统神经网络（BP,FNN网络等）缺点：
a.其隐含层一般不超过2层，一旦神经元数目增多，因为使用的是全连接且权值不共享，这样就导致了模型参数急剧增加，采用随机梯度下降法可能不容易找到最优解；随着层数增多或者初始化权值很小，可能陷入局部最优。
b.这里说下生成模型和判别模型。Generative Modeling（**生成模型**）和Discriminative Modeling（判别模型）两种，后面简称GM和DM。GM是由训练数据学习联合概率分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型：
![这里写图片描述](https://img-blog.csdn.net/20171129110359866?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvdTAxMjc0NjYwNw==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
之所以叫生成模型，是因为模型表示了给定输入X产生输出Y的生成关系[1]。典型的生成模型有：朴素贝叶斯和隐马尔科夫模型。判别模型是由训练数据直接学习决策函数f(X)或者条件概率分布P(X,Y)作为预测的模型，模型关心的是对给定的输入X，应该预测什么样的输出Y，与GM的不同在于不需要先学习出联合分布P(X,Y)。典型的判别模型有：k近邻法、感知机、决策树、逻辑回归、最大熵、SVM、AdaBoost和条件随机场等。
传统判别模型中，需要大量的训练样本。但是现实应用中，（除了图片声音等）获取样本数据并不是意见容易的事情。
深度学习的出现使得上面两个问题得到了有效的解决。

1.玻尔兹曼机RBM