表示学习、表示学习与深度学习、表示学习与特征提取

数据表示是机器学习的核心问题
特征工程：需要借助人类智能

表示学习

如何自动从数据中学习好的表示

什么是好的表示

“好的表示”是一个非常主观的概念，没有一个明确的标准
但一般而言，一个好的表示具有以下几点优点：

• 应该具有很强的表示能力
• 应该使后续的学习任务变得简单
• 应该具有一般性，是任务或领域独立的

难点
没有明确的目标

如何在计算机中表示语义

局部表示

• 离散表示、符号表示
• One-Hot向量

分布式表示

• 压缩、低维、稠密向量
• 用O(N)个参数表示O(2K)区间
  注：k为非0参数，k<N

表示学习与深度学习

• 一个好的表示学习策略必须具备一定的深度
• 特征重用
  指数级的表示能力
• 抽象表示与不定性
  抽象表示需要多步的构造

表示学习与特征提取

传统的特征提取

• 线性投影（子空间）
• PCA、LDA
• 非线性嵌入
• LIE、Isomap、谱方法
• 自编译器

特征提取VS表示学习

• 特征提取：基于任务或先验对去除无用特征
• 表示学习：通过深度模型学习高层语义特征