主成分分析(PCA降维)与最小二乘-原理以及详细推导

重新整理了PCA相关的原理和推导

从最小二乘出发, 其原理可以描述为: 在数据空间$\chi$中寻找一个超平面, 让数据样本到该超平面的距离平方之和最小.

数据点到超平面距离的计算试为该点向量减该点在超平面上的投影所得向量的长度, 即
$$dist(x_i,plane)=||{\text{x}}_i-{\hat{\text{x}}}_i|{|}_2$$

下标2表示L2范数, 几何解释如图

假设该超平面由$d^{\prime }$个标准正交向量张成, 即
p l a n e = s p a n { w 1 , w 2 , w 3 , . . . , w d ′ } , s . t .    w i ⋅ w j = δ i j plane = span\{\textbf{w}_1,\textbf{w}_2,\textbf{w}_3,...,\textbf{w}_{d'}\},\\ s.t.\ \ \textbf{w}_i\cdot \textbf{w}_j=\delta_{ij} plane=span{ w1​,w2​,w3​,...,wd′​},s.t.  wi​⋅wj​=δij​
令$W=[{\text{w}}_1,{\text{w}}_2,{\text{w}}_3,...,{\text{w}}_{d^{\prime }}]$,则 PCA的优化目标可表示为
$$\begin{gathered} arg\underset{W}{\min }\sum _i||{\text{x}}_i-{\hat{\text{x}}}_i|{|}_2^2 \\ s.t.W^{T}W=I\text{\hspace{1em}(1)} \end{gathered}$$
由线性代数知识可知, 数据点$x_i$在超平面上的投影可表示为
$${\hat{\text{x}}}_i=\sum _{j=1}^{d^{\prime }}({\text{w}}_j^T{\text{x}}_i){\text{w}}_j$$
于是优化目标可写为
$$arg\underset{W}{\min }\sum _i||\sum _{j=1}^{d^{\prime }}({\text{w}}_j^T{\text{x}}_i){\text{w}}_j$$