一、概述
表示学习就是在深度学习或者机器学习的过程中,随着不断地训练,我们慢慢得到一些,能够代表样本的一些内容。比如在神经网络中,每一层都是一个表示学习的过程,只不过最后一层的表示最好。不论是什么形式的学习,其最终的目标,都是在学习更好的表示。大约90%的论文都是在研究如何学习一个更好的表示方法。
什么样的表示,是一个好的表示?有一句比较经典的话:The better representation lies in lower dimensional manifold.
我们下面记录7中“好的表示应该有的特点”,通过以下这些内容,也可以对我们已经学习过的内容,算法,加以改进,可能会得到意想不到的效果。
1.Smoothness
意思就是目标函数需要是平滑的目标函数才可以进行优化。如果不是平滑的,那么在拐角处是不能进行求导的,因此不容易优化。
2.Multiple Explanatory Factors
也就是需要有多个可解释的元素,它可能是几个向量的组合,比如在图片中,我们通过训练,得到四组向量,第一组表示的是人,第二组表示图片亮度,第三组表示图片背景,第四组表示拍摄角度等等。
假如我们非常清楚学出来的表示的不同部分有各自的意义,那么将会更利于迁移学习,以及生成模型。
3.Hierarchical Representation
层次结构
比如我们的训练,从很细的特征,到模块的信息特征,再到物体的信息等等。这叫做具备一定的层次结构。从碎片化到具体化。越底层的特征,越可以被其他的训练使用,同样也会更有利于迁移学习。
4..Shared Factors Across Tasks
当学习好了一个表示,这个表示能够用在不同的任务上,也更加利于迁移学习。可以看出,我们多次提到迁移学习,其实这是人类所拥有的技能,如果我们能够让机器也能够学会,那么将会是一个很大的突破。
5.Low Dimensional Manifold
好的表示会落在更低维度的空间。
6.Temporal/Spacial Coherence
时间/空间上的一致性,对于样本来说,如果加入时间或空间的维度,那么随着时间或空间的变化,样本的变化不会特别大。比如一个人的喜好,不会突然转变,再比如社交网络中,相聚更近的人通常会有更大的相似性。
7.Sparsity
好的表示,具备一定的稀疏性。稀疏性的最大好处,就是可解释性。像人的大脑,有很多的神经元,但做一件事的时候,真正起作用的就一小部分。