主成分分析PCA

部分内容转至知乎，具体细节待整理。

线性降维

给定d维的原始数据$X\in R^{d \times n}$，选择一个$r<d$，通过优化$f_X( · )$可以得到一个投影矩阵$P\in R^{r \times d}$，最终可以得到$Y=PX\in R^{r \times n}$为降维后的数据。PCA要优化的目标函数：

$$f_X(P)=||X-P^TPX||_F^2$$

为什么有正交约束$PP^T=I$

$P$为投影矩阵，$P$的每一列表示新的低维空间的基（坐标轴），P具有正交约束是要低维空间的这些基之间相互正交，且是单位向量。

总的优化目标

$$\min {||PX-BS||^2_F+\lambda_1||S||_1+\\ \lambda_2||X-P^TPX||_F^2 +\\ \lambda_3 Tr(BUB^T)+\\ \lambda_4 SVM\_Items }\\ s.t. \ PP^T=I,\sum_i||B_j||<c$$
当固定其他，更新P时，目标转化为

$$\begin{align} \min \ & ||PX-BS||^2_F+\lambda_2||X-P^TPX||_F^2 \\ s.t. \ &PP^T=I \end{align}$$

考虑对偶形式，

$$\begin{align} L(P,\lambda) = & \frac {Tr\{(PX-BS)^T(PX-BS))\}}①+ \\ &\frac { \lambda_2Tr\{(X-P^TPX)^T(X-P^TPX)\}}②+ \\ &\frac {\lambda (PP^T-I)}③ \end{align}$$
其中， $\lambda_2$为超参数， $\lambda$为拉格朗日乘子。先求 $P$和$\lambda$之间的关系，对P求一阶导，

对$P$求导

第①部分求导如下，

$$\begin{align} \nabla_PL(①) & = \nabla_PTr\{(PX-BS)^T(PX-BS)\} \\ & = \nabla_PTr\{(X^TP^T-S^TB^T)(PX-BS))\} \\ & = \nabla_PTr\{X^TP^TPX-S^TB^TPX-X^TP^TBS+S^TB^TBS\} \\ & = \nabla_PTr\{P^TPXX^T-PXS^TB^T-PXS^TB^T+S^TB^TBS\} \\ & = 2PXX^T-2(XS^TB^T)^T \\ & = 2PXX^T-2BSX^T \end{align}$$
第②部分求导如下，
$$\begin{align} \nabla_PL(②) & = \lambda_2\nabla_PTr\{(X-P^TPX)^T(X-P^TPX)\} \\ & = \lambda_2\nabla_PTr\{(X^T-X^TP^TP)(X-P^TPX)\} \\ & = \lambda_2\nabla_PTr\{X^TX-X^TP^TPX-X^TP^TPX+X^TP^TPP^TPX\} \\ & = \lambda_2\nabla_PTr\{X^TX-X^TP^TPX-X^TP^TPX+X^TP^TPX\} \\ & = \lambda_2\nabla_PTr\{X^TX-X^TP^TPX\} \\ & =2 \lambda_2PXX^T \\ \end{align}$$
第③部分求导如下，
$$\begin{align} \nabla_PL(③) & = \lambda\nabla_P (PP^T-I) \\ & =2 \lambda P \end{align}$$
令上述偏导=0，也即是，
$$\nabla_PL=2PXX^T-2BSX^T +2 \lambda_2PXX^T+2 \lambda P =0$$
故，
$$(1+ \lambda_2)PXX^T+ \lambda P =BSX^T \\ P((1+ \lambda_2)XX^T+ \lambda I) =BSX^T$$
两边同时转置，可得关系，
$$P^T=((1+ \lambda_2)XX^T+ \lambda I)^{-1} XS^TB^T$$

对$\lambda$求导

XXXX

参考

https://www.zhihu.com/question/41120789/answer/173530798
https://zhuanlan.zhihu.com/p/21580949
Linear Dimensionality Reduction: Survey, Insights, and Generalizations