读书笔记-《机器学习》第十章：降维与度量学习

• 懒惰学习：在训练阶段仅仅是把样本保存起来，训练时间开销为零，待收到测试样本后再进行处理
• 急切学习：在训练阶段就对样本进行学习处理
• 维数灾难：在高维情形下出现的样本数据稀疏、距离计算困难等问题
• 缓解维数灾难的一个重要途径是降维，亦称“维数简约”，即通过某种数字 变换将原始高维属性空间转变为一个低维“子空间”，在这个子空间中样本密度大幅提高，距离计算也变的更为容易
• 线性降维方法
  • MSD：原始空间中样本之间的距离在低维空间中得以保持
  • PCA：对样本具有最大可分性
• 非线性降维方法
  • 核化线性降维：KPCA，”核化“PCA
  • 流形学习
• 度量学习：直接学习出一个合适的距离度量