主成分分析和奇异值分解
降维分析
简单介绍
用少量的特征代替整体的特征
方法类型
- 主成分分析(Principal components analysis, PCA)
- 线性判别分析(LDA)
- 流形学习(局部线性嵌入-LLE,拉普拉斯特征映射)
主成分分析
概念化定义
在多元统计分析中,PCA经常用于减少数据的维数,同时保持数据集中的对方差贡献最大的特征。这是通过保留低阶主成分,忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。
简单解释
用数据的方差化信息,选取少量方差大的特征代替整体的特征。
- 线性降维方法
- 将高维的数据映射到低维的空间中表示
- 期望在所投影的维度上数据的方差最大,以此使用较少的数据维度,同时保留住较多的原数据点的特性
PCA分析和扩展
优点:
- 可消除特征之间的相关影响
- 可减少指标选择的工作量
- 可进行降维处理降低数据维度
- 完全无参数限制
缺点:
- 无法通过参数化等方法对处理过程进行干预
- 在非高斯分布的情况下,选取的结果不一定是最优的
PCA扩展
- 可将SVM中用到的核函数运用到PCA中,形成核PCA方法,对于数据进行线性降维
- 若期望不以方差作为数据信息的衡量因素,而希望分析数据的主要影响因子或分析数据的独立成分,则可用Factor Analysis (因子分析)、ICA(独立成分分析)等方法
奇异值分解
特征值与特征值分解
奇异值分解
奇异值分解原理
PCA与SVD的关系
将SVD引入PCA的计算方法