大数据学习笔记之四十三 深度学习的基本方法

1）自动编码器

    1.1 内涵 

          是一个逐层的贪心算法，在每一次迭代中训练一层网络，然后使用一个类似于后向传播的算法对深度网络进行调优

    1.2 思想

          将深度网络看成一连串的自动编码器，包括两个阶段：

                  1，第一阶段是编码阶段，编码阶段对应输入层到隐藏层的映射；

                  2，第二阶段是解码阶段，对应的是隐藏层到输出层的映射

    1.3 学习过程

           1，用隐藏层进行编码，再将编码结果作为输入传递给输出层进行解码，解码后的结果应该与原始输入相似但不相同

           2，将结果与原始输入的误差最小化得到最优的编码方案

           3，把中间层参数提取出来就是一个最优编码方法

   1.4 前向训练阶段

          1，首先训练第一层自动编码器

          2，然后将第一层自动编码器的解码部分拿掉，直接将第一层的编码结果作为输入，利用这个输入训练第二层编码器

          3，最后根据需要将第二层的解码部分换成相应的分类函数即可实现一个简单的分类器

    1.5 后向调优阶段

          1，从输出层n开始，计算参数

          2，对于n-1、n-2、.....2层，计算参数

          3，计算目标的偏微分

          4，使用偏微分对各参数进行更新

          5，完成更新后，即完成一次优化迭代

   2）稀疏编码

        无监督学习方法，用来寻找一组超完备基向量以更高效地表示样本数据