数据降维

为什么要降维？

在实际的机器学习项目中，特征选择/降维是必须进行的，因为在数据中存在以下几个 方面的问题：

• 数据的多重共线性：特征属性之间存在着相互关联关系。多重共线性会导致解的空间不稳定， 从而导致模型的泛化能力弱；

• 高纬空间样本具有稀疏性，导致模型比较难找到数据特征；

• 过多的变量会妨碍模型查找规律；

• 仅仅考虑单个变量对于目标属性的影响可能忽略变量之间的潜在关系。

  通过特征选择/降维的目的是：

• 减少特征属性的个数

• 确保特征属性之间是相互独立的

当然有时候也存在特征矩阵过大， 导致计算量比较大，训练时间长的问题

常用的降维方法有：

• PCA

• LDA

• 主题模型进行降维