深度信念网络(DBN)

1. 概念

        定义：深度信念网络是一种基于无监督学习的生成模型，具有多层的堆叠结构，由多层受限玻尔兹曼机（Restricted Boltzmann Machines, RBM）堆叠而成。

        结构：DBN包含多个层次，每一层都学习数据中的高级抽象特征。最底层是可见层，负责接收输入数据；而顶层及其它所有隐藏层则是受限玻尔兹曼机，每个RBM层都学习输入数据的不同特征表示。

        节点与连接：DBN由多层相互连接的节点组成，每个节点代表一个神经元。节点之间的连接形成网络结构，其中每一层都与前一层和后一层完全连接，形成一个堆叠的结构。

        深度信念网络的网络结构例子如下图所示：     

                   

2. 学习过程

（1）层次无监督预训练

        采用无监督算法对第一层进行预训练。

        从第二层开始，采用上一层的输出作为这一层的输入进行同样的预训练。

（2）有监督微调

        通过计算损失，进行反向传播微调，进一步优化整个网络。

        这个优化过程是计算损失得到全局权重（每一层的权重），再通过逐层向上传播梯度信息进一步及逆行与优化每一层的权重。

3. 特点和优势

        （1）强大的特征学习能力：DBN能够学习数据中的高阶特征，提高模式识别和分类任务的性能。

        （2）生成模型特性：作为生成模型，DBN能够生成与观测数据类似的新样本，具有广泛的应用前景。

        （3）避免梯度消失问题：DBN的无监督预训练阶段有助于避免在训练深度网络时常见的梯度消失问题。

        （4）适用于未标记数据：DBN在训练初期不依赖于标签数据，使得其在处理未标记数据时表现出色。