深度置信网络（DBN）

最新推荐文章于 2024-07-25 10:37:53 发布
最新推荐文章于 2024-07-25 10:37:53 发布
阅读量1.1w 收藏 57
点赞数 7
分类专栏： 机器学习 文章标签： 神经网络 深度学习 机器学习 tensorflow 概率论
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sc179/article/details/107889775
版权

DBN (deep belief network，深度置信网络)，是使用RBM(Restricted Boltzmann Machines，受限波尔兹曼机 )构成的一种深度神经网络。

1. RBM简介

RBM属于一种无监督学习的方法，无监督学习的目的是最大可能地拟合训练数据。

下图为RBM的结构，其中下层神经元组成显层 (visible layer)，由显元 (visible units) 组成，用于输入数据；上层神经元组成隐层(Hidden layer)，由隐元 (hidden units) 组成，用于特征提取。


2. 训练DBN

训练 DBN 的过程是一层一层地进行的。在每一层中，用数据向量来推断隐层，再把这一隐层当作下一层 (高一层) 的数据向量。

经典的DBN网络结构是由若干层 RBM 和一层 BP 组成的一种深层神经网络, 结构如下图所示.

在这里插入图片描述
DBN 在训练模型的过程中主要分为两步:

第1步：按照顺序依次训练每一层RBM网络，确保特征向量映射到不同特征空间时，能保留尽可能多的特征信息；

第2步：在DBN最后一层设置BP网络，同时将最后一个RBM的输出特征向量作为BP网络的输入特征向量，有监督地训练实体关系分类器。接着反向传播网络将错误信息自顶向下传播至每一层 RBM,微调整个 DBN 网络。

在训练模型中，第1步称作预训练，第2步称作微调。有监督学习不一定是BP网络，可以根据需要换成任何分类器模型。

DBN算法本质

从其非监督学习的部分来讲，目的是尽可能地保留原始特征的特点，同时降低特征的维度；

从其有监督学习的部分来讲，目的在于使得分类错误率尽可能地小。

不论是监督学习还是非监督学习，DBN算法本质都是Feature Learning的过程，即如何得到更好的特征表达。

hellosc01
关注
专栏目录
深度置信网络（Deep Belief Networks）DBN
xiatianyunzi的博客
09-12 4万+
DBN 一、算法的功能 深度置信网络（Deep Belief Networks）DBN算法是机器学习之神经网络的一种，既可以用于非监督学习，也可以用于监督学习。DBN是一个概率生成模型，与传统的判别模型的神经网络相对，生成模型是建立一个观察数据和标签之间的联合分布。通过训练其神经元间的权重，可以让整个神经网络按照最大概率来生成训练数据。 不仅可以使用DBN来识别特征、分类数据...
深度置信网络DBN
08-17
DBN实例，运行与matlab版本有关系，注释详细，建议用2014版
一文搞懂深度信念网络！DBN概念介绍与Pytorch实战
最新发布
2401_85325519的博客
07-25 641
本文深入探讨了深度信念网络DBN的核心概念、结构、Pytorch实战，分析其在深度学习网络中的定位、潜力与应用场景。
DBN(深度置信网络）
热门推荐
win_in_action的专栏
05-08 5万+
参考文献：http://blog.csdn.net/zouxy09/article/details/8775518 具有层次结构的数学算法：                  神经网络                         到     深度神经网络DNN           限制深度波尔茨曼机      到     深度波尔茨曼机DBM           限制深
从自联想神经网络到深度神经网络
weixin_34262482的博客
06-12 1338
深度神经网路已经在语音识别，图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。 第六篇，简要描述深度神经网络模型。 1. 自联想神经网络与深度网络 自联想神经网络是很古老的神经网络模型，简单的说，它就是三层BP网络，只不过它的输出等于输入...
DBN（深度置信网络）
upupyon996deqing的博客
06-07 2万+
受限玻尔兹曼机：提取特征用的，两层的结构。可见层和隐藏层，可见层输入以后，通过权值和偏置的叠加，变成概率的计算，决定隐藏层出现什么样的数据。而隐藏层可以反过来重构可见层，一直以这样的规则继续下去。这个过程就是吉布斯采样，吉布斯采样是一个逐渐逼近玻尔兹曼分布，最终的理想结果是最终迭代的结果和预先训练好的向量，达到分类的目的。除了分类的用途，另一个用途是，因为隐藏层在不断的迭代过程中会逐渐在一个概率范围内，这些概率就是输入进去的特征，在隐藏层抽取的特征是计算的概率。这些抽取的概率可以达到压缩数据的目的。受限玻尔
深度学习模型--深度置信网络（DBNs）
Amy_bj的博客
04-03 1455
尽管深度学习领域的研究迅速发展，引入了更多先进的网络结构，DBN仍然是理解深度学习和生成模型重要的一环，为深度学习的发展奠定了基础。
基于深度置信网络(DBN)回归预测，深度置信网络DBN回归预测，matlab代码
07-22
基于深度置信网络(DBN)回归预测，深度置信网络DBN回归预测，matlab代码。 评价指标包括:R2、MAE、MSE、RMSE和MAPE等，代码质量极高，方便学习和替换数据。 深度置信网络（Deep Belief Network，DBN）是一种基于概率...
基于深度置信网络(DBN)时间序列预测，深度置信网络DBN时间序列预测，matlab代码
07-22
基于深度置信网络(DBN)时间序列预测，深度置信网络DBN时间序列预测，matlab代码。 评价指标包括:R2、MAE、MSE、RMSE和MAPE等，代码质量极高，方便学习和替换数据。 深度置信网络（DBN，Deep Belief Network）是一种...
Matlab深度置信网络DBN代码解析-NeuralNetworksForMachineLearningClass:GeoffHinton的C
06-12
Matlab深度置信网络DBN代码解析用于机器学习的神经网络 Geoff Hinton 的 Coursera 课程“机器学习神经网络”的 Matlab 源文件。 Geoff Hinton 于 2019 年从 Coursera 中删除了该课程，因为他觉得现在已经过时了。 ...
DBN深度置信网络源代码
08-01
深度置信网络（DBN，Deep Belief Network）是一种基于多层受限玻尔兹曼机（RBM，Restricted Boltzmann Machine）的深层神经网络结构。在机器学习领域，DBN常用于特征学习和预训练，能有效地捕获数据中的复杂结构。本...
深度信念网络DBN
03-29
深度信念网络实现手写识别，注意与DBM区别开来
深度学习--深度信念网络(Deep-Belief-Network)
11-28
深度信念网络 (Deep Belief Network, DBN) 由 Geoffrey Hinton 在 2006 年提出。它是一种生成模型，通过训练其神经元间的权重，我们可以让整个神经网络按照最大概率来生成训练数据。我们不仅可以使用 DBN 识别特征、分类数据，还可以用它来生成数据。下面的图片展示的是用 DBN 识别手写数字：
深度置信(信念)网络DBN(Deep Belief Network)
weixin_43434802的博客
07-03 5504
深度置信(信念)网络DBN(Deep Belief Network) 1.简介 DBNs是一个概率生成模型，与传统的判别模型的神经网络相对，生成模型是建立一个观察数据和标签之间的联合分布，对P(Observation∣Label)P(Observation|Label)P(Observation∣Label)和 P(Label∣Observation)P(Label|Observation)P(L...
深度置信网络
weixin_54279123的博客
07-31 1712
一种由二值随机神经元构成的两层对称连接神经网络。其权值通过优化玻尔兹曼能量函数获得。特点特点1每个随机变量都是二值的({0,1})特点2所有节点是全连接的特点3两个节点之间的相互影响是对称的。...
深度信念网络（DBN）介绍
第欧根尼的酒桶的博客
04-19 3017
深度信念网络（Deep Belief Networks, DBN）是由多层受限玻尔兹曼机（Restricted Boltzmann Machines, RBM）堆叠而成的生成式图模型。这种网络结构在2006年由Geoffrey Hinton和他的研究小组首次提出，旨在通过无监督学习有效地训练多层神经网络。DBN是一种深度神经网络，它包含多个层次，每一层都学习数据中的高级抽象特征。在DBN中，最底层是可见层，负责接收输入数据；而顶层及其它所有隐藏层则是受限玻尔兹曼机，每个RBM层都学习输入数据的不同特征表示。
大话深度信念网络（DBN）
雪饼的博客
03-01 8251
—— 原文发布于本人的微信公众号“大数据与人工智能Lab”（BigdataAILab），欢迎关注。 让我们把时间拨回到2006年以前，神经网络自20世纪50年代发展起来后，因其良好的非线性能力、泛化能力而备受关注。然而，传统的神经网络仍存在一些局限，在上个世纪90年代陷入衰落，主要有以下几个原因：1、传统的神经网络一般都是单隐层，最多两个隐层，因为一旦神经元个数太多、隐层太多，模型的参数数量迅速增...
dbn 深度置信网络代码
05-31
以下是使用Python和TensorFlow实现DBN深度置信网络的代码： ```python import tensorflow as tf import numpy as np class DBN(object): def __init__(self, n_layers, n_nodes, learning_rate=0.01, batch_size=100, n_epochs=10): self.n_layers = n_layers self.n_nodes = n_nodes self.learning_rate = learning_rate self.batch_size = batch_size self.n_epochs = n_epochs self.weights = [] self.biases = [] self.build_model() def build_model(self): self.X = tf.placeholder(tf.float32, shape=[None, self.n_nodes[0]]) self.y = tf.placeholder(tf.float32, shape=[None, self.n_nodes[-1]]) # 构建每一层的权重和偏置 for i in range(self.n_layers-1): w = tf.Variable(tf.random_normal([self.n_nodes[i], self.n_nodes[i+1]], stddev=0.1), name='w'+str(i)) b = tf.Variable(tf.zeros([self.n_nodes[i+1]]), name='b'+str(i)) self.weights.append(w) self.biases.append(b) # 构建前向传播过程 layers = [self.X] for i in range(self.n_layers-1): layer = tf.nn.sigmoid(tf.add(tf.matmul(layers[-1], self.weights[i]), self.biases[i])) layers.append(layer) self.y_pred = layers[-1] # 构建反向传播过程 self.loss = tf.reduce_mean(tf.square(self.y - self.y_pred)) self.optimizer = tf.train.AdamOptimizer(learning_rate=self.learning_rate).minimize(self.loss) self.init_op = tf.global_variables_initializer() def fit(self, X_train, y_train): n_samples = X_train.shape[0] with tf.Session() as sess: sess.run(self.init_op) for epoch in range(self.n_epochs): total_loss = 0 for i in range(n_samples // self.batch_size): batch_X = X_train[i*self.batch_size: (i+1)*self.batch_size] batch_y = y_train[i*self.batch_size: (i+1)*self.batch_size] _, loss = sess.run([self.optimizer, self.loss], feed_dict={self.X: batch_X, self.y: batch_y}) total_loss += loss avg_loss = total_loss / (n_samples // self.batch_size) print("Epoch:", epoch+1, "Loss:", avg_loss) self.weights = sess.run(self.weights) self.biases = sess.run(self.biases) def predict(self, X_test): with tf.Session() as sess: sess.run(self.init_op) for i in range(self.n_layers-1): sess.run([self.weights[i].assign(self.weights[i]), self.biases[i].assign(self.biases[i])]) y_pred = sess.run(self.y_pred, feed_dict={self.X: X_test}) return y_pred ``` 使用方法： ```python import numpy as np from sklearn.datasets import load_boston from sklearn.preprocessing import StandardScaler from sklearn.model_selection import train_test_split # 加载数据并进行预处理 data = load_boston() X = data.data y = data.target.reshape(-1, 1) X = StandardScaler().fit_transform(X) y = StandardScaler().fit_transform(y) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0) # 构建DBN模型 dbn = DBN(n_layers=3, n_nodes=[13, 10, 1], learning_rate=0.01, batch_size=100, n_epochs=50) dbn.fit(X_train, y_train) # 预测 y_pred = dbn.predict(X_test) ``` 其中，`data`是加载的数据集，`X`是特征，`y`是目标变量。首先进行标准化处理，然后将数据划分为训练集和测试集。接着构建DBN模型，其中`n_layers`是层数，`n_nodes`是每一层的节点数，`learning_rate`是学习率，`batch_size`是批次大小，`n_epochs`是训练轮数。调用`fit`方法进行训练，调用`predict`方法进行预测。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hellosc01

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值