【论文阅读-Autoencoder】Generalized Autoencoder: A Neural Network Framework for Dimensionality Reduction

1. 阅读前的预备知识：Autoencoder

    无监督，主要用于数据降维或者特征抽取

    pretrain：在深度学习中，autoencoder可用于在训练阶段开始前，确定权重矩阵的初始值

    目标是让输入等于输出，为的是高维-->低维encode后损失的信息不多

    对于多层神经网络，可以一层一层训练，固定之前的层之后来运行下一层的pretrain。

                                                     图源简书|https://www.jianshu.com/p/eacb36e201df

 

2. GAE论文阅读--Generalized Autoencoder: A Neural Network Framework for Dimensionality Reduction

 

Abstract：

    一般的autoencoder只重建他自己而不在乎data relation下潜在的流形结构（manifold structure）

    GAE在两方面提升：1.重建数据是一组{x_j}而不是一个x_i'；2.重建error根据{x_j}中每个x_j和x_i的距离加权计算。

    这样，GAE就抓住了data space的结构。

 

Introduction：

    高维有无用数据，低维有本质特征，降维有很多方法。

    很多方法：PCA，LDA&MFA（利用label作为data relation来寻找低维的有区分度的子空间（subspace）），ISOMAP（保持pairdata在原space中的“距离”&#x