深度网络的训练过程与方法

第一步：自下而上的无监督学习

（这一步是网络参数初始化得过程，区别于传统神经网络初值随机初始化，深度学习模型通过无监督学习输入数据进行初始化，因此这个初值更接近全局最优，从而能够取得更好的效果。）

逐层构建单层神经元，每层采用wake-sleep算法进行调优，每次仅调整一层，逐层调整（这个过程看作是一个feature learning的过程，是和传统神经网络区别最大的部分）；

wake-sleep算法：
wake阶段：认知过程，通过下层的输入特征和向上的认知权重产生每一层的抽象表示，再通过当前的生成权重产生一个重建信息，计算输入特征和重建信息残差，使用梯度下降修改层间的下行生成权重。（如果现实跟我想象的不一样，改变我的生成权重使得我想像的东西变得与现实一样）

sleep阶段：生成过程，通过上层概念与向下的生成权重，生成下层的状态，再利用认知权重产生一个抽象景象，利用初始上层概念和抽象景象的残差，利用梯度下降修改层间向上的认知权重。（如果现实的景象不是我脑中相应的概念，改变我的认知权重使得这种景象在我看来就是这个概念）

第二步：自顶向下的监督学习

在第一步无监督学习获得各层参数的基础上，在最顶的编码层添加一个分类器（LR、SVM等），通过带标签数据的监督学习，利用梯度下降法微调整个网络的参数。使得目标函数达到最小（最优化）。