表示学习（就是特征）

一个简单的小章节科普

表示学习的意义

一种可以从数据中得到有判别性特征的方法，减少机器学习算法对特征工程的依赖。一个好的表示首先要尽可能的包含更多数据的本质信息，并且这个表示能直接服务于后续的具体任务。一个好的表示需要尽可能地描述一些高层次的抽象特征。

离散表示与分布式表示

一个对象的表示有两种常见的方式

最简单的是 one-hot 独热向量编码。这个向量只有在某个维度上为1，其余为0.在向量空间中，所有对象的向量都是相互正交的，他们之间是相互独立的。维度很高并且非常稀疏。

而分布式表示是通过某种方式得到一个低维稠密的向量来表示研究对象，例如，
颜色：
粉色：（255,182,193）；浅粉色：（255,192,203）深粉色:（255,20,147）
分布式表示可以包含语义的特征。

端到端学习是一种强大的表示学习方法

如，AlexNet，它以原始图像作为输入，而不是特征工程得到的特征，输出直接是预测的类型，这种学习方式称为端到端学习（end-to-end learning）。端到端学习可以看做是表示学习与任务学习的组合，但它们不是完全分裂的。深度学习模型的一个优势就是能够学习数据的层次化表达。也就是低层的提取低层次的特征，而高层的提取高层次的与任务相关的特征。

可以基于深度学习的这个特征进行迁移学习，迁移学习是指将已经学过的知识迁移到到新的问题上，最典型的应用就是调参。只对高层进行修改。