表示学习(Representation Learning)(一)——review

1.什么是表示学习

    Bengio Y., Courville A., and Vincent P. 等人提出“一个机器学习算法的成功实现，通常是建立在对数据特征合理表示的基础上”。理论上讲，同样的数据在不同的表示方法下，一些本看来似乎没有联系的特征可以被紧密的结合在一起，从而挖掘出数据深层的信息并隐藏一些不重要的数据信息。在当前这样一个大数据的时代，如何高效的处理和分析数据成为数据科学家们探讨的一个炙热话题，同样在实际应用场景下，高效又准确的模型可能意味着更快的实时响应，而表现出来的便是在市场中的竞争力。一个恰当合适的数据表示要求表示模型能够不失去原数据的关键信息的同时又能在某种程度上压缩数据的大小，以为实现后序基于新的表示形式数据的机器学习算法效率的提升。其在自然语言处理、计算机视觉、语音识别中都扮演着重要的角色。

本文按照作者学习的过程将对以下几个模型思路原理以及算法实现做一个学习归纳记录。

算法模型：

1.线性模型(Linear Model)。

a)主成分分析(Principal Component Analysis  (PCA))

b)典型关联分析(Canonical Correlation Analysis (CCA))

2.流形学习(Manifold Learning)。

a)多维缩放模型(Multi-dimensional Scaling (MDS))

b)等距离特征映射模型(Isometric Feature Mapping (ISOMAP))

c)局部线性嵌入模型(Locally Linear Embedding (LLE))

3.自编码器

a)浅层自编码器(Shallow Autoencoder (AE))

b)深层自编码器(Deep Autoencoder (Deep AE))

c)基于自编码器的生成模型(Gen