表示学习

表示学习

表示：将输入信息转换为有效的特征

表示学习：自动地学习出有效的特征，并提高最终机器学习模型的性能。

语义鸿沟：输入数据的底层特征和高层语义信息之间的不一致性和差异性。

表示学习的关键是解决语义鸿沟。+

好的表示：

• 一个好的表示应该具有很强的表示能力，即同样大小的向量可以表示更多信息。
• 一个好的表示应该使后续的学习任务变得简单，即需要包含更高层的语义信息。
• 一个好的表示应该具有一般性，是任务或领域独立的。虽然目前的大部分表示学习方法还是基于某个任务来学习，但我们期望其学到的表示可以比较容易的迁移到其他任务上。

在传统机器学习中，我们经常使用两种方式来表示特征：局部表示（LocalRepresentation）和分布式表示（Distributed Representation）。

局部表示通常可以表示为one-hot向量的形式。

局部表示的不足：

1）one-hot向量维度很高，且不能扩展。2）不同属性直接相似度为0.

分布式表示：低维的稠密向量。如，表示颜色使用RGB值来表示即为分布式表示。

嵌入：将一个度量空间中的一些对象映射到另一个低维的度量空间中，并尽可能保持不同对象之间的拓扑关系。

要学习到一种好的高层语义表示（一般为分布式表示），通常需要从底层特征开始，经过多步非线性转换才能得到。

一个深层结构的优点是可以增加特征的重用性，从而指数级地增加表示能力