表示学习方法

一、概述

表示学习就是在深度学习或者机器学习的过程中，随着不断地训练，我们慢慢得到一些，能够代表样本的一些内容。比如在神经网络中，每一层都是一个表示学习的过程，只不过最后一层的表示最好。不论是什么形式的学习，其最终的目标，都是在学习更好的表示。大约90%的论文都是在研究如何学习一个更好的表示方法。

什么样的表示，是一个好的表示？有一句比较经典的话：The better representation lies in lower dimensional manifold.

我们下面记录7中“好的表示应该有的特点”，通过以下这些内容，也可以对我们已经学习过的内容，算法，加以改进，可能会得到意想不到的效果。

1.Smoothness

意思就是目标函数需要是平滑的目标函数才可以进行优化。如果不是平滑的，那么在拐角处是不能进行求导的，因此不容易优化。

2.Multiple Explanatory Factors

也就是需要有多个可解释的元素，它可能是几个向量的组合，比如在图片中，我们通过训练，得到四组向量，第一组表示的是人，第二组表示图片亮度，第三组表示图片背景，第四组表示拍摄角度等等。

假如我们非常清楚学出来的表示的不同部分有各自的意义，那么将会更利于迁移学习，以及生成模型。

3.Hierarchical Representation

层次结构

比如我们的训练，从很细的特征，到模块的信息特征，再到物体的信息等等。这叫做具备一定的层次结构。从碎片化到具体化。越底层的特征，越可以被其他的训练使用，同样也会更有利于迁移学习。

4..Shared Factors Across Tasks

当学习好了一个表示，这个表示能够用在不同的任务上，也更加利于迁移学习。可以看出，我们多次提到迁移学习，其实这是人类所拥有的技能，如果我们能够让机器也能够学会，那么将会是一个很大的突破。

5.Low Dimensional Manifold

好的表示会落在更低维度的空间。

6.Temporal/Spacial Coherence

时间/空间上的一致性，对于样本来说，如果加入时间或空间的维度，那么随着时间或空间的变化，样本的变化不会特别大。比如一个人的喜好，不会突然转变，再比如社交网络中，相聚更近的人通常会有更大的相似性。

7.Sparsity

好的表示，具备一定的稀疏性。稀疏性的最大好处，就是可解释性。像人的大脑，有很多的神经元，但做一件事的时候，真正起作用的就一小部分。