主成分分析(PCA)

    对正交属性空间中的样本点，用一个超平面对所有样本进行恰当表达，超平面应该有这样的性质(都是希望降维后损失足够小)：

• • • • • 最近重构性：样本点到这个超平面的距离都足够近
        • 最大可分性：样本点在这个超平面上的投影尽可能分开

一、根据最近重构性进行推导

    假设样本集X进行了中心化，投影转换坐标系为，其中是标准正交基向量。

    样本点投影后的坐标为，说明是维转换。

    若基于来重构，会得到

    则原样本点与投影重构后的样本点之间距离为：

    

    上式应该被最小化，有

    

二、根据最大可分性进行推导

    投影后样本点的方差是

    优化目标

    

    显然两者优化目标等价。

三、进行目标函数的求解

    对两式使用拉格朗日乘子法可得：，于是只需对协方差矩阵进行特征值分解，将求得的特征值进行排序，再取前个特征值对应的特征向量构成，这就是PCA的解。

四、降维维数的确定

    1.通常是由用户事先指定.

    2.通过在值不同的低维空间中，对一个开销较小的分类器(如k近邻)进行交叉验证来选择较好值。

    3.设置重构阈值t，使得使下式成立的最小值：