1)生成性深度结构
1.1 含义
描述数据的高阶相关特性,或观测数据和相应类别的联合概率分布,与传统区分型神经网络不通,它可获取观测数据和标签的联合分布。这方便了先验概率和后验概率的估 计,而区分型模型仅能对后验概率进行估计
1.2 算法 DBN
1.2.1 介绍
DBN,深度置信网络就属于生成性深度结构,解决传统BP(Back Propagation)算法训练多层神经网络的难题,由一系列受限波尔茨曼机RBM单元组成。
RBM是一种典型神经网络,该网络可视层和隐藏单元彼此互联,隐单元可获取输入可视单元的高阶相关性,为了获取生成性权值,预训练采用无监督贪心逐层方式来实 现。
1.2.2 BP难题
1,需要大量含标签训练样本集
2,收敛速度较慢
3,因不合适的参数选择而陷入局部最优
2)区分性深度结构
2.1 含义
提供对模式分类的区分型能力,通常描述数据的后验分布
2.2 CNN,卷积神经网络
1,第一个真正成功训练多层网络结构的学习算法
2,基于最小化预处理数据要求产生
3) 混合型结构
用于分类任务时,预训练可结合其他典型区分性学习算法对所有权值进行优化,BP算法可以用来优化DBN权值,它的初始权值是通过DBN和RBM预训练中获得,这样的网络会比仅通过BP算法单独的网络性能优越