大数据学习笔记之四十四 深度学习的三种架构

1）生成性深度结构

      1.1 含义

            描述数据的高阶相关特性，或观测数据和相应类别的联合概率分布，与传统区分型神经网络不通，它可获取观测数据和标签的联合分布。这方便了先验概率和后验概率的估               计，而区分型模型仅能对后验概率进行估计

     1.2 算法 DBN 

            1.2.1 介绍

                     DBN，深度置信网络就属于生成性深度结构，解决传统BP（Back Propagation）算法训练多层神经网络的难题，由一系列受限波尔茨曼机RBM单元组成。

                    RBM是一种典型神经网络，该网络可视层和隐藏单元彼此互联，隐单元可获取输入可视单元的高阶相关性，为了获取生成性权值，预训练采用无监督贪心逐层方式来实    现。

            1.2.2 BP难题

                    1，需要大量含标签训练样本集

                    2，收敛速度较慢

                    3，因不合适的参数选择而陷入局部最优

 2）区分性深度结构

       2.1 含义

             提供对模式分类的区分型能力，通常描述数据的后验分布

       2.2 CNN，卷积神经网络

             1，第一个真正成功训练多层网络结构的学习算法

             2，基于最小化预处理数据要求产生

3） 混合型结构

        用于分类任务时，预训练可结合其他典型区分性学习算法对所有权值进行优化，BP算法可以用来优化DBN权值，它的初始权值是通过DBN和RBM预训练中获得，这样的网络会比仅通过BP算法单独的网络性能优越