机器学习 数据增加_【机器学习】数据降维概述

机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。

机器学习主要问题

数据维数

维数 (又称维度)

• 数学中：独立参数的数目
• 物理中：独立时空坐标的数目

维度

例 “点是0维、直线是1维、平面是2维、体是3维”

• 点基于点是 0 维：在点上定位一个点，不需要参数
• 点基于直线是 1 维：在直线上定位一个点，需要 1 个参数
• 点基于平面是 2 维：在平面上定位一个点，需要 2 个参数
• 点基于体是 3 维：在体上定位一个点，需要 3 个参数

像素数字 "3"

又如， 像素数字放入 像素白板

像素白板

实际上中，可以通过如下操作增加维数：

• 水平 / 垂直的平移变化
• 旋转变化
• 尺度变化
• 形状变化(不同人写作的习惯)
• 光照变换
• ……

这些变换的因素是潜变量(Latent Variables)，潜变量在。

数据降维

• 为什么要降维？

  • 在原始的高维空间中，包含冗余信息和噪声信息，会在实际应用中引入误差，影响准确率；而降维可以提取数据内部的本质结构，减少冗余信息和噪声信息造成的误差，提高应用中的精度。

• 降维的好处

  • 直观地好处是维度降低了，便于计算和可视化，其更深层次的意义在于有效信息的提取综合及无用信息的摈弃。

• 一个简单的例子

  

  含有噪声的数据

  

  低冗余数据

  

  高冗余数据

  • 冗余
  • 噪声：选择一个方向投影过滤噪声

• 降维

  

  高冗余数据

  • 利用某种映射将原高维度空间的数据点投影到低维度的空间：

• 降维的本质

  • 学习一个映射函数 ，其中 是原始数据点的表达，目前最多使用向量表达形式。 是数据点映射后的低维向量表达，通常 的维度小于 的维度(当然提高维度也是可以的)。 可能是显式的或隐式的、线性的或非线性的。

降维方法

• 主成分分析(Principal Component Analysis)
• 等距映射(Isometric Mapping)
• 局部线性嵌入(Locally Linear Embedding)
• ……

数据降维