数据表示是机器学习的核心问题
特征工程:需要借助人类智能
表示学习
如何自动从数据中学习好的表示
什么是好的表示
“好的表示”是一个非常主观的概念,没有一个明确的标准
但一般而言,一个好的表示具有以下几点优点:
- 应该具有很强的表示能力
- 应该使后续的学习任务变得简单
- 应该具有一般性,是任务或领域独立的
难点
没有明确的目标
如何在计算机中表示语义
局部表示
- 离散表示、符号表示
- One-Hot向量
分布式表示
- 压缩、低维、稠密向量
- 用O(N)个参数表示O(2K)区间
注:k为非0参数,k<N
表示学习与深度学习
- 一个好的表示学习策略必须具备一定的深度
- 特征重用
指数级的表示能力 - 抽象表示与不定性
抽象表示需要多步的构造
表示学习与特征提取
传统的特征提取
- 线性投影(子空间)
- PCA、LDA
- 非线性嵌入
- LIE、Isomap、谱方法
- 自编译器
特征提取VS表示学习
- 特征提取:基于任务或先验对去除无用特征
- 表示学习:通过深度模型学习高层语义特征