斯坦福机器学习——降维

一、目的

减少特征的维度，是为了减小计算的复杂度，提高模型后期的训练速度。

二、PCA降维

原理：假设原数据有N个特征，即原来的每条记录是一个N维向量，经过矩阵T（维度为K*N）的线性变换后变成了K维向量，原来的记录变成了一个K维向量。求解矩阵T的过程就是利用了主成分分析（PCA）的思想，即数据在主成分方向上的方差最大（信息量最多），通过 协方差矩阵的特征值分解来求解T，认为数据在最大特征值所对应特征向量的方向上的方差最大。

三、奇异值分解

原理：对任意矩阵M作奇异值分解，通过 奇异值矩阵Sigam、U矩阵、V矩阵来表示data矩阵中的数据，即M=U*Sigam*V_T。

几何意义是：假如用M矩阵对某数据向量作线性变换，V矩阵列向量表示原始的 正交基，U矩阵列向量表示V经过M矩阵变换后的 变换正交基，数据向量在V矩阵基下有一组坐标值，经过M矩阵进行线性变换后如果用U矩阵基来表示也有一组坐标值。且原始基是正交的，变换基也是正交的。 且U矩阵的列向量是矩阵M列向量记录（每列是一条记录）的