高维数据处理

PCA

• 非监督
• 利用协方差矩阵寻找投射函数$\omega使得投射到低维空间后的最大离散（方差）$
• 使用拉格朗日解不等式
• 根据求得的特征值进行特征向量的选择
• 一般求信息率90%以上的特征向量集
• 对于N远大于D的数据，使用SVD（奇异值）进行求解
• 先进行一次自乘降维再进行训练

LDA

• 监督性
• 寻求使得类内方差最小并且类间差异性最大的投射空间

SOM

• 聚类方法

- 取差异性对周围范围的邻居进行更新

MDS

• 非监督降维
• 注重数据的相对距离（关系），有利于流型数据的降维和可视化
• 但对原数据整体结构破坏严重
• 三个基本步骤：
  
  • 计算stress
  • 更新投射函数
  • 检查disparity

ReliefF

• ReliefF处理多分类的情况，Relief只能处理两分类
• 用于对特征进行赋权，通过权值进行过滤
  
  • 算法输入: 数据集D, 包含c类样本，子集采样数m，权值阈值$\delta$, kNN系数k
  • 算法步骤：
    
    1. initial $W(A_i) =0$;
    2. for 1 to m, sample x from D:
       
       1. label of x is y
       2. form dataset H and M, k near-hit (Hj,j=0,1,2...k