Python数据分析与可视化笔记 六 特征构建 特征提取 主成分分析 独立成分分析 线性判别分析

特征构建

        特征构建是指从原始特征中人工构建新的特征。假设原始数据是表格数据，可以使用混合属性或者组合数学来创建新的特征。

特征提取

        特征提取是在原始特征的基础上，自动构建新的特征，将原始数据转换为一组更具物理意义、统计意义或者核的特征。特征提取的主要方法包括主成分分析、独立成分分析和线性判别分析。

1.主成分分析 (Principal Component Analysis, PCA)

        PCA的思想是通过坐标轴转换，寻找数据分布的最优子空间，从而达到降维、去除数据间相关性的目的。在数学上，是先用原始数据协方差矩阵的前 N 个最大特征值对应的特征向量构成映射矩阵，然后原始矩阵左乘映射矩阵，从而对原始数据降维。

2.独立成分分析(Independent Component Analysis, ICA)

        PCA特征转换降维，提取的是不相关的部分， ICA 获得的是相互独立的属性。ICA 算法本质是寻找一个线性变换 Z = W_x，使得 Z 的各特征分量之间的独立性最大。ICA 比 PCA更能刻画变量的随机统计特性，且能抑制噪声。ICA 认为观测到的数据矩阵 X 是可以由未知的独立元矩阵 S 与未知的矩阵 A 相乘得到的。

3.线性判别分析（ Linear Discriminant Analysis，LDA）

        LDA 的原理是将带上标签的数据（点）通过投影的方法，投影到维度更低的空间，使得投影后的点会形成按类别区分，相同类别的点将会在投影后更接近。