机器学习-无监督学习3

主成分分析和奇异值分解

降维分析

简单介绍
用少量的特征代替整体的特征
方法类型

• 主成分分析（Principal components analysis, PCA）
• 线性判别分析（LDA）
• 流形学习（局部线性嵌入-LLE，拉普拉斯特征映射）

主成分分析

概念化定义
在多元统计分析中，PCA经常用于减少数据的维数，同时保持数据集中的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。

简单解释
用数据的方差化信息，选取少量方差大的特征代替整体的特征。

• 线性降维方法
• 将高维的数据映射到低维的空间中表示
• 期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性

PCA分析和扩展

优点：

• 可消除特征之间的相关影响
• 可减少指标选择的工作量
• 可进行降维处理降低数据维度
• 完全无参数限制

缺点：

• 无法通过参数化等方法对处理过程进行干预
• 在非高斯分布的情况下，选取的结果不一定是最优的

PCA扩展

• 可将SVM中用到的核函数运用到PCA中，形成核PCA方法，对于数据进行线性降维
• 若期望不以方差作为数据信息的衡量因素，而希望分析数据的主要影响因子或分析数据的独立成分，则可用Factor Analysis (因子分析)、ICA（独立成分分析）等方法

奇异值分解

特征值与特征值分解

奇异值分解

奇异值分解原理

PCA与SVD的关系

将SVD引入PCA的计算方法