PCA 学习笔记

前言

重要的算法还是写写笔记吧

PCA

主成分分析（PCA）是一种降维方法，使用一个超平面，对正交属性空间中的所有样本点进行恰当的表达。超平面应该满足这样的性质：

1. 最近重构性：样本点到这个超平面的距离都足够近
2. 最大可分性：样本点在这个超平面上的投影尽可能分开
   基于这两个可以分别得到等价推导。
   
   然后可得投影后的样本为 $W^{\top }X$，这里是中心化后的样本。
   样本 $X$ 大小为 $d\times m$。降维后的维数 $d^{\prime }$ 由用户事先指定，可以通过交叉验证，或者指定重构阈值 $t$，找到满足重构阈值的最小维数：
   
   其中 ${\lambda }_i$ 为协方差矩阵的特征值。
   由于舍弃了最小的 $d-d^{\prime }$ 个特征值对应的特征向量，因此必然会有信息的丢失，但这往往是必要的：

1. 增大采样密度
2. 最小的特征值对应的特征向量往往与噪声有关，舍弃他们往往能在一定程度上起到去噪的效果。

特征分解就是解行列式方程，比如求解矩阵 $A=\left[\begin{array}{ccc}-1& 1& 0\\ -4& 3& 0\\ 1& 0& 2\end{array}\right]$ 的特征值与特征向量。
$$\begin{gathered} |A-\lambda I|=|\lambda I-A|=\left|\begin{array}{ccc}\lambda +1& 1& 0\\ -4& \lambda -3& 0\\ 1& 0& \lambda -2\end{array}\right|=(\lambda +1)\ast (\lambda -3)\ast (\lambda -2)+1\ast 0\ast 1+0\ast (-4)\ast 0- \\ 0\ast (\lambda -3)\ast 1-1\ast (-4)\ast (\lambda -2)-(-1)\ast 0\ast 0 \\ =(\lambda +1)\ast (\lambda -3)\ast (\lambda -2)+4(\lambda -2) \\ =(\lambda -2)({\lambda }^2-2\lambda -3+4) \\ =(\lambda -2)(\lambda -1{)}^2 \end{gathered}$$
所以 $\lambda =1,2$.
这里 $A$ 与 $\lambda I$ 交换后特征值不变，但是对应的特征向量会变，我参考百度百科，我的顺序应该是对的，但是不确定交换顺序后是否等价。百度百科截图如下：

对于特征值 1，其对应的特征向量 $x=[x_1,x_2,x_3{]}^{\top }$ 为
$$\left|\begin{array}{ccc}-1-1& 1& 0\\ -4& 3-1& 0\\ 1& 0& 2-1\end{array}\right|x=0$$
$$\left|\begin{array}{ccc}-2& 1& 0\\ -4& 2& 0\\ 1& 0& 1\end{array}\right|x=0$$
所以标准化后的特征向量 $x=[\frac{-1}{\sqrt{6}},\frac{-2}{\sqrt{6}},\frac{1}{\sqrt{6}}{]}^{\top }$