大数据学习笔记之四十四 深度学习的三种架构

1)生成性深度结构

      1.1 含义

            描述数据的高阶相关特性,或观测数据和相应类别的联合概率分布,与传统区分型神经网络不通,它可获取观测数据和标签的联合分布。这方便了先验概率和后验概率的估               计,而区分型模型仅能对后验概率进行估计

     1.2 算法 DBN 

            1.2.1 介绍

                     DBN,深度置信网络就属于生成性深度结构,解决传统BP(Back Propagation)算法训练多层神经网络的难题,由一系列受限波尔茨曼机RBM单元组成。

                    RBM是一种典型神经网络,该网络可视层和隐藏单元彼此互联,隐单元可获取输入可视单元的高阶相关性,为了获取生成性权值,预训练采用无监督贪心逐层方式来实    现。

            1.2.2 BP难题

                    1,需要大量含标签训练样本集

                    2,收敛速度较慢

                    3,因不合适的参数选择而陷入局部最优

 2)区分性深度结构

       2.1 含义

             提供对模式分类的区分型能力,通常描述数据的后验分布

       2.2 CNN,卷积神经网络

             1,第一个真正成功训练多层网络结构的学习算法

             2,基于最小化预处理数据要求产生

3) 混合型结构

        用于分类任务时,预训练可结合其他典型区分性学习算法对所有权值进行优化,BP算法可以用来优化DBN权值,它的初始权值是通过DBN和RBM预训练中获得,这样的网络会比仅通过BP算法单独的网络性能优越

展开阅读全文

没有更多推荐了,返回首页