【机器学习】PCA推导

记数据集为$X_{m\times n}$，其中$m$为样本数量，$n$为原始特征空间的特征维数。设线性变换矩阵为$W_{n\times d}$，其中列向量之间彼此正交，且模长为1。则降维后的样本$Z=XW$, 重构损失可以表示为 $loss=||X-XW{W}^T|{|}_F^2$.
$$\begin{array}{rl}& \underset{\theta }{\mathrm{argmin}}||X-XW{W}^T|{|}_F^2\\ =& \underset{\theta }{\mathrm{argmin}}tr[(X-XW{W}^T)(X-XW{W}^T{)}^T]\\ =& \underset{\theta }{\mathrm{argmin}}tr[(X-XW{W}^T)(X^T-W{W}^T{X}^T)]\\ =& \underset{\theta }{\mathrm{argmin}}tr(X{X}^T-2XW{W}^T{X}^T-XW{W}^{T}W{W}^T{X}^T)\\ =& \underset{\theta }{\mathrm{argmin}}tr(X{X}^T-2XW{W}^T{X}^T+XW{W}^T{X}^T)(因为W^{T}W=E_{d\times d}))\\ =& \underset{\theta }{\mathrm{argmin}}tr(X{X}^T-XW{W}^T{X}^T)\\ =& \underset{\theta }{\mathrm{argmin}}tr(-XW{W}^T{X}^T)\\ =& \underset{\theta }{\mathrm{argmax}}tr(XW{W}^T{X}^T)\\ =& \underset{\theta }{\mathrm{argmax}}tr[W^T(X^{T}X)W]\end{array}$$
令$X^{T}X=Q\Lambda Q^T,W=QY$，则有
$$\begin{array}{rl}& \underset{\theta }{\mathrm{argmax}}tr[W^T(X^{T}X)W]\\ =& \underset{\theta }{\mathrm{argmax}}tr[Y^T{Q}^{T}Q\Lambda Q^{T}QY]\\ =& \underset{\theta }{\mathrm{argmax}}tr[Y^T\Lambda Y]\end{array}$$
从而PCA降维至$d$维后其最优值维$d$个最大的特征值的和，$Y$维单位矩阵，线性变换矩阵对应的特征向量.(这个从而有点尴尬，但是我不会啦，网上也没找到相关的证明，都是从而）

PCA去中心化与不去中心化的区别：
从最大重构性的角度，是否去中心化无关紧要。
从最大可分性的角度，即最大化数据集的方差，需要中心化。中心化后最大重构性与最大可分性是等价的。中心化是有用的，在继续往下推的时候会用到