Auto-encoder

一 Basic Idea

        Auto-encoder是将高维的输入通过编码器产生低维的向量，低维的向量再通过解码器最终还原为输入。之所以Auto-encoder可以把输入还原，是因为很多时候高维的输入仅具有有限个类型，因此可以对输入进行重新编码，形成低维的向量。例如对于一个3x3的图片输入，仅仅只有两种类型，因此可以通过编码器，将图片压缩成一个二维的向量。

 

二 Feature Disentanglement

        通过encoder编码后得到的低维向量，可以表示输入的特征，甚至可以知道向量中哪些部分代表哪些特征。因此可以对不同的输入经过encoder编码后得到的向量进行重组，并经过decoder解码，最终得到一个新的输出。一个典型的应用是voice conversion，该应用是将说话者的声音和文字进行分离，利用Feature Disentangle技术再进行重组，最终可以实现用一个声音说不同话的目的。

三 Discrete Representation  

        encoder的输出向量除了是实数，也可以是binary，或者是one-hot。若输出的向量为binary，其每一个维度由0或1组成，表明该维度对应的特征是否存在。若输出的向量为one-hot，则是用来表示输入的类别。

四 Anomaly Detection

        异常检测是指有一输入x，检测该输入是否与给定的训练集的数据相似，若相似则认为是正常的，不相似则认为是异常的。一种用于异常检测的方法是使用Auto-encoder，用正常的数据作为训练集训练模型，然后拿需要检测的对象作为测试集数据，若模型不能够还原测试数据，则说明该测试数据是异常的，否则说明数据是正常的。