深度学习进阶之（一）AutoEncoder

1. AutoEncoder的原理、变种及实现

          AutoEncoder包含输入层、隐含层以及输出层，AutoEncoder原理就是利用BP来进行整个过程，那么如何构建AutoEncoder呢？

1.搭建编码器

2.搭建解码器

3. 定义Loss function

         AutoEncoder主要用来数据去噪、为可视化降维以及构建深层神经网络。

                                         

                                                     

2. AutoEncoder与PCA的区别

      相同点：

         * 降维，作为特征提取器

      不同点：

         * PCA只能线性变换，AutoEncoder可以进行非线性变换

      降维的重点就是保证不要丢失太多的信息，我们使用主成分分析，假设原数据是n，我们把数据从原特征空间变换到新的特征空间，在新的特征空间，我们就把每一个特征维度设置为一个主方向，我们可以把n个主方向按方差从大到小排列，选择前K个维度，但是PCA处理时，假设为2，降维为1，那么我们就会损失一定的数据信息，如果AutoEncoder层数为1时，那么就与PCA是一样的。若为非1层的AutoEncoder的话，我们可以堆叠n个层作为深度学习的预训练，我们可以在编解码之后加上非线性变换，通过减少误差来学习参数， 那么相对于非线性的情况，我们可以学习到更多的结果。对于非线性函数来说，PCA以及AutoEncoder会得到以下两种情况：

                                      

 

 

3. AutoEncoder的变种（一）

3.1 Sparse AutoEncoder

             Sparse AutoEncoder如下图所示：

                                                             

        Sparse中加入L1正则化或者KL散度，我们限制了每次表达的向量更加稀疏，因为稀疏的向量往往更有效。给隐藏的神经元加入稀疏性限制。在现实生活中，也正是有这种表达来满足我们的约束。简单来说，我们希望我们的模型越稀疏越好。这是一个非监督学习的过程，这是生成整个神经网络的预先训练的一种方法，通过初始化神经元来建立一个回归，这个回归来拟合我们的模型。当数据特征较高时，若我们不加稀疏性限制，就会抑制特征提取效果，因为Sparse本身就是一个正则项。详细代码可以参考本人的github：https://github.com/Merlin5417/AE-DAE-SDAE

                       

        增加了稀疏约束后的AutoEncoder的损失函数定义如下：

                                                                         

       KL表示KL散度，p表示网络中神经元的激活程度（若Activation为Sigmoid函数，此值可设为0.05，表示大部分神经元未激活），pj表示第j个神经元的平均激活程度。在此处ÿ