机器学习---算法基础（二）数据降维

数据降维

针对数据降维指的是特征值维度的下降

数据的降维有两种方式：
特征选择与主成分分析

特征选择

特征选择的原因：

• 冗余：部分特征的相关度高，容易消耗计算性能
• 噪声：部分特征对预测结果有影响

特征选择的定义：
从提取到的所有特征中选择部分特征作为训练集特征，特征在选择前和选择后可以改变值或者不改变值。主要用到的方法有：

Filter(过滤式):VarianceThreshold
从方差大小考虑所有样本这个特征的情况。
通过过滤的方式对所有低于指定方差的特征

Embedded(嵌入式)：正则化、决策树
Warpper（包裹式）

主成分分析（PCA）
PCA是一种分析，简化数据集的技术
目的是数据维度压缩，尽可能的降低原数据的维数，损失少量信息。
作用：可以削减回归分析或者聚类分析中的特征数量。

高纬度数据的特点：多个维度数据强相关，可以通过PCA指定信息的损耗进行主成分分析。