基于特征选择的数据降维算法（笔记）

数据降维常用手段：

1）特征选择：从原始数据维度中挑选出一些分类性能良好且包含关键信息（具有代表性的）特征子集。

特征选择一般有以下三种方法：过滤法（Relief算法）、封装法、嵌入法。

a.Relief算法：一种特征权重算法，利用特征和泪别的相关性对特征进行权重赋值，移除权重小于阈值的特征。其局限性是仅能处理二元分类问题。

b.ReliefF算法：对Relief算法的改进与扩展，支持处理多元分类数据。但是可能为冗余特征赋予权值，即算法的局限性在于不能有效的去除特征间的冗余性。

2）特征提取：从原始数据维度中提取出新的维度，即对已有的特征集集合进行高维到低维的映射（如PCA）。

数据降维常用方法：主成分分析法（PCA），独立成分分析（ICA）。

主成分分析法（PCA）：将高维数据的坐标投影变换到数据方差最大的方向上组成新的坐标系来表示是数据的坐标变换的过程。

独立成分分析（ICA）：将原始数据降维并提取出相互独立的属性，寻找出一个线性变化Z=WX，使得各个分量间的独立性最大。

ICA与PCA相比，处理得到的各个分量之间的相关性得以去除，且能抑制高斯噪声而且是相互独立的，因而更能刻画变量的随机统计特性。PCA实质上是一个基的变换的问题，使得变换后的数据有着最大方差，PCA不仅仅是高维数据降维，更重要的是经过降维去除了噪声。

数据降维算法分为：线性降维算法和非线性降维算法。

线性降维算法：PCA、ICA、LDA等等。

非线性降维算法：基于核、基于流行学习。