PCA-principal component analysis

PCA—–主成分分析，通常用于降维！
找到样本的主方向，怎么找到呢，主方向具有如下本质特征：
样本在主方向上投影的方差最大！
A为n个样本k个特征的矩阵，且已经进行中心话，即E=0;
$J(u)=Var(Au)=(Au-E)^{T}(Au-E)=u^{T}A^{T}Au$，如果假设$u$为单位化向量，即$u^{T}u=1$即$u^{T}u-1=0$,
则$J(u)=u^{T}A^{T}Au+\lambda(1-u^{T}u)$，对其求导：
$J(u)^{'}=2A^{T}Au-2\lambda u$，令导数等于0：
$2A^{T}Au-2\lambda u=0$===>$A^{T}Au=\lambda u$，
所以$\lambda$即为$A^{T}A$的特增值， u <script type="math/tex" id="MathJax-Element-1548">u</script>为其特征向量。