主成分分析(PCA)思路

主成分分析可用于降维。主成分可以理解为主反向或者主要信息。也就是给定$n$个$d$维的列向量 { x i ∈ R d × 1 } i = 1 n \{\bm{x}_i\in \mathbb{R}^{d\times 1}\}_{i=1}^n {xi​∈Rd×1}i=1n​，假设现在要找到的主方向是$w_1$。然后主方向和这些样本什么关系呢？如果这些样本是二维的，相当于二维平面里的很多点，而这个主方向$w_1$就是能拟合所有的点的直线。找到最好的主方向有多个角度可以理解。

第一个角度：

映射到$w_1$直线上的投影长度的方差尽可能大，因此有如下目标：
$$\begin{gathered} \arg \underset{w_1}{\max }var[w_1^{T}x] \\ =\arg \underset{w_1}{\max }E[(w_1^{T}x-E[w_1^{T}x]{)}^2] \end{gathered}$$
为了方便后续操作，假设已经将数据中心化(减去均值)。
$$\begin{gathered} =\arg \underset{w_1}{\max }E[(w_1^{T}x{)}^2] \\ =\arg \underset{w_1}{\max }\frac{1}{n}\sum _{i=1}^n(w_1^T{x}_i{)}^2 \\ =\arg \underset{w_1}{\max }\sum _{i=1}^n{w}_1^T{x}_i{x}_i^T{w}_1 \\ =\arg \underset{w_1}{\max }{w}_1^T(\sum _{i=1}^n{x}_i{x}_i^T)w_1 \\ =\arg \underset{w_1}{\max }{w}_1^T(X{X}^T)w_1 \\ =\arg \underset{w_1}{\min }-w_1^T(X{X}^T)w_1 \end{gathered}$$
因为$w_1$不能无限大，有约束条件$w_1^T{w}_1=1$。
拉格朗日函数：
$L(w_1,\lambda )=-w_1^T(X{X}^T)w_1+\lambda (w_1^T{w}_1-1)$
令$\frac{\partial L(w_1,\lambda )}{\partial w_1}=0$
得：
$X{X}^T{w}_1=\lambda w_1$
即主方向是$X{X}^T$的特征向量方向。那个特征方向最好呢？考虑到$w_1^T(X{X}^T)w_1=w_1^T\lambda w_1=\lambda$。因此最大化$w_1^T(X{X}^T)w_1$，就是求最大的特征根以及对应的特征向量。
然后求第二主成分：
$\arg \underset{w_2}{\max }{w}_2^T(X{X}^T)w_2$
$s.t.w_1^T{w}_2=0,w_2^T{w}_2=1$
即为了保持和第一主成分不相关，使$w_1^T{w}_2=0$。然后最大化第二主方向上的投影方差。

实际上，$X{X}^T$是实对称矩阵，所以不同特征向量是一定正交的。所以直接求出$X{X}^T$第二大特征值对应的特征向量即为$w_2$。

第二个角度：

考虑过原点的直线来拟合所有点，让最小化重构误差。
$\arg \underset{w_1}{\min }\frac{1}{n}\sum _{i=1}^n(x_i-l_i{w}_1{)}^2$
$w_1$为单位向量，与直线同方向。

https://blog.csdn.net/zhongkejingwang/article/details/42264479
https://blog.csdn.net/zhongkelee/article/details/44064401
https://www.jianshu.com/p/1e9cab07d54d