凸优化—SVD—PCA原理详情

一、凸优化

      ~~~~~      两个正数的算术平均数大于等于几何平均数：
$$\frac{a+b}{2}⩾\sqrt{ab}$$
      ~~~~~      给定可逆对称阵Q，对于任意的向量x，y，有：
$$x^{T}Qx+y^T{Q}^{-1}y⩾2x^{T}y$$

1.1 仿射集:（直线）

        ~~~~~~~        通过集合C中任意两个不同点的直线仍然在集合C内，则称集合C为仿射集。
$$\forall \theta \in R,\forall x_1,x_2\in C则x=\theta x_1+(1-\theta )x_2\in C$$

1.2 凸集:（线段）

        ~~~~~~~        如果通过集合C中任意两个不同点之间的线段(上的任何点)仍在集合C中，那么称集合C是凸的。
$$\theta x_1+(1-\theta )x_2\in C;其中x1,x2\in C，0⩽\theta ⩽1$$

1.3 锥定义（射线）

        ~~~~~~~        给定 $C\in R_n，满足x\in C\Rightarrow tx\in C对于任意t\ge 0$称之为锥。

凸锥（convex cone）：
        ~~~~~~~        $x_1,x_2\in C\Rightarrow t_1{x}_1+t_2{x}_2\in C,对于任意t_1,t_2\ge 0$都成立，那么称集合C 为凸锥。显然凸锥是锥的一种。

1.4 凸优化

若函数f的定义域domf 为凸集，且满足：$\forall x,y\in domf,\theta \in [0,1]$
$$f(\theta x+(1-\theta )y)⩽\theta f(x)+(1-\theta )f(y)$$

拉格朗日乘子法就是求函数$f(x1,x2,...)$ 在约束条件 $h(x1,x2,...)=0$下的极值的方法：
$$F(x,\lambda )=f(x)+\sum _{k=1}^l{\lambda }_k{h}_k(x)$$

1.5 示例

求椭球的内接最大体积 :
$$\frac{x^2}{a^2}+\frac{x^2}{b^2}+\frac{x^2}{c^2}=1求f(x,y,z)=8xyz最大值$$
由拉格朗日函数F(x):(λk是各个约束的待定系数)
$$F(x,\lambda )=f(x)+\sum _{k=1}^l{\lambda }_k{h}_k(x)$$

二、SVD分解

奇异值分解能够简约数据，去除噪声和冗余数据。其实也是一种降维方法，将数据映射到低维空间。
奇异值分解（singular value decomposition，SVD）是线性代数中一种重要的矩阵分解，在信号处理、统计学等领域有重要应用。

假设 $M$是一个 $m\times n$ 阶矩阵，其中的元素全部属于域 $K$，也就是实数域或复数域。如此则存在一个分解使得 $M=U\Sigma V^{\ast }$

其中 $U$是 $m\times m$ 阶矩阵；$\Sigma$ 是 $m\times n$ 阶非负实数对角矩阵；而 $V^{\ast }$ 为矩阵 $V$ 的共轭转置矩阵，是 $n\times n$ 阶矩阵。这样的分解就称为矩阵 $M$奇异值分解。

2.1 奇异值分解

$$M=\left[\begin{array}{cc}2& 4\\ 1& 3\\ 0& 0\\ 0& 0\end{array}\right]$$

1. 分别理解计算 $M{M}^T$ 和 $M^{T}M$ 的特征向量及其特征值

2. $M{M}^T$ 的特征向量组成$U$
   $M^{T}M$ 的特征向量组成$V$

3. 对$M{M}^T$和$M^{T}M$的非零特征值求平方根，对应上述的特征向量的位置，填入$\sum$的非零对角元素（即 M 的奇异值）。
   $$W=M{M}^T=\left[\begin{array}{cc}2& 4\\ 1& 3\\ 0& 0\\ 0& 0\end{array}\right]\left[\begin{array}{cccc}2& 1& 0& 0\\ 4& 3& 0& 0\end{array}\right]=\left[\begin{array}{cccc}20& 14& 0& 0\\ 14& 10& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}\right]$$
   求$W$特征值 与特征向量。由定义$W\overrightarrow{x}=\lambda \overrightarrow{x}$；因此 $(W-\lambda I)\overrightarrow{x}=\overrightarrow{0}$。
   $$(\left[\begin{array}{cccc}20& 14& 0& 0\\ 14& 10& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}\right]-\lambda \left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right])\overrightarrow{x}=\overrightarrow{0}$$
   即：
   $$\left[\begin{array}{cccc}20-\lambda & 14& 0& 0\\ 14& 10-\lambda & 0& 0\\ 0& 0& -\lambda & 0\\ 0& 0& 0& -\lambda \end{array}\right]=\left|\begin{array}{cc}20-\lambda & 14\\ 14& 10-\lambda \end{array}\right|\left|\begin{array}{cc}-\lambda & 0\\ 0& -\lambda \end{array}\right|=0$$
   求行列式det得：$((20-\lambda )(10-\lambda )-196){\lambda }^2=0。$

   特征值λ：${\lambda }_1={\lambda }_2=0,{\lambda }_3=15+\sqrt{221}\approx 29.866，{\lambda }_4=15-\sqrt{221}\approx 0.134$。
   将特征值带入原方程 M ，可解的特征向量。

---

当${\lambda }_1={\lambda }_2=0$

$$\left[\begin{array}{cccc}20& 14& 0& 0\\ 14& 10& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}\right]\Rightarrow \left(\begin{array}{c}20x_1+14y_1=0\\ 14x_1+10y_1=0\end{array}\right)$$

当${\lambda }_3$ = 29.866
$$\left|\begin{array}{cccc}-9.866& 14& 0& 0\\ 14& -19.866& 0& 0\\ 0& 0& -29.866& 0\\ 0& 0& 0& -29.866\end{array}\right|\Rightarrow \left(\begin{array}{c}-9.866x_2+14y_2=0\\ 14x_2-19.866y_2=0\\ -29.866z_2=0\\ -29.866i_2=0\end{array}\right)$$

当${\lambda }_4$ = 0.134
$$\left|\begin{array}{cccc}19.866& 14& 0& 0\\ 14& 9.866& 0& 0\\ 0& 0& -0.134& 0\\ 0& 0& 0& -0.134\end{array}\right|\Rightarrow \left(\begin{array}{c}19.866x+14y=0\\ 14x+9.866y=0\\ -0.134z=0\\ -0.134i=0\end{array}\right)$$

2.2 SVD概念及理解

在实数内，我们实质上是将一个复杂的变换 $M:{\mathbb{R}}^m\to {\mathbb{R}}^n$分解成了三个变换：
旋转/镜像 $U：{\mathbb{R}}^m\to {\mathbb{R}}^m$；
缩放 $\sum :{\mathbb{R}}^m\to {\mathbb{R}}^n$；
旋转/镜像 $V:{\mathbb{R}}^n\to {\mathbb{R}}^n$。

我们假设 $m=n$以及 $U$ 和 $V$ 都是旋转矩阵，则这个过程可以表示为：

1. $V$首先将（可能是退化的）单位球旋转（旋转标准正交基），
2. 而后经由 $\Sigma$将单位圆缩放拉伸成椭圆（超空间中的超椭球），
3. 再经由 $U$ 将超椭球在空间中旋转。
   这个超椭球的各个半轴的长度， 就是矩阵 $M$ 的奇异值，也就是矩阵 $\Sigma$ 对角线上的元素。

SVD 分解至少有两方面作用：

分析了解 原矩阵的主要特征和携带的信息（取若干最大的奇异值），这引出了主成分分析（PCA）；
丢弃忽略原矩阵的次要特征和携带的次要信息（丢弃若干较小的奇异值），这引出了信息有损压缩、矩阵低秩近似等话题。

三、PCA—主成分分析

关于PCA粗略认识请查看：特征工程——数据降维
降维就是一种对高维度特征数据预处理方法。降维是将高维度的数据保留下最重要的一些特征，去除噪声和不重要的特征，从而实现提升数据处理速度的目的。
在实际的生产和应用中，降维在一定的信息损失范围内，可以为我们节省大量的时间和成本。降维也成为应用非常广泛的数据预处理方法。

降维具有如下一些优点：

1. 使得数据集更易使用。
2. 降低算法的计算开销。
3. 去除噪声。
4. 使得结果容易理解。

降维的算法有很多，比如奇异值分解(SVD)、主成分分析(PCA)、因子分析(FA)、独立成分分析(ICA)。

3.1 PCA的概念

PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。
PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。PCA的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第1,2个轴正交的平面中方差最大的。依次类推，可以得到n个这样的坐标轴。通过这种方式获得的新的坐标轴，我们发现，大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，我们可以忽略余下的坐标轴，只保留前面k个含有绝大部分方差的坐标轴。事实上，这相当于只保留包含绝大部分方差的维度特征，而忽略包含方差几乎为0的特征维度，实现对数据特征的降维处理。

简而言之：通过计算数据矩阵的协方差矩阵，然后得到协方差矩阵的特征值特征向量，选择特征值最大(即方差最大)的k个特征所对应的特征向量组成的矩阵。这样就可以将数据矩阵转换到新的空间当中，实现数据特征的降维。

获取协方差矩阵的特征值特征向量有两种方法：

基于 特征值分解协方差矩阵实现PCA算法
基于 SVD分解协方差矩阵实现PCA算法。

3.2 协方差和散度矩阵

样本均值：$$\bar{\mathbf{x}}=\frac{1}{\mathbf{n}}\sum _{\mathbf{i}=1}^{\mathbf{N}}{\mathbf{x}}_{\mathbf{i}}$$
样本方差：$${\mathbf{S}}^2=\frac{1}{\mathbf{n}-1}\sum _{\mathbf{i}=1}^{\mathbf{N}}({\mathbf{x}}_{\mathbf{i}}-\bar{\mathbf{x}}{)}^2$$
样本 $X$ 和样本 $Y$的协方差：
$$\begin{array}{rl}Cov(X,Y)& =E\left[(X-E(X))(Y-E(Y))\right]\\ & =\frac{1}{n-1}\sum _{i=1}^N(x_i-\bar{x})(y_i-\bar{y})\end{array}$$

1. 协方差要求样本必须至少满足二维特征；方差只是协方差的特殊情况。
2. 方差和协方差的除数是n-1,这是为了得到方差和协方差的无偏估计。
3. 协方差为正时，说明X和Y是正相关关系；
4. 协方差为负时，说明X和Y是负相关关系；
5. 协方差为0时，说明X和Y无相关关系。Cov(X,X)就是X的方差。当样本是n维数据时，它们的协方差实际上是协方差矩阵(对称方阵)。

同理，对于3维数据(x,y,z)，计算它的协方差就是：
$$Cov(X,Y,Z)=\left[\begin{array}{ccc}Cov(x,x)& Cov(x,y)& Cov(x,z)\\ Cov(y,x)& Cov(y,y)& Cov(y,x)\\ Cov(z,x)& Cov(z,y)& Cov(z,z)\end{array}\right]$$

散度矩阵定义为：
$$S=\sum _{i=1}^n(({\mathbf{x}}_{\mathbf{k}}-\mathbf{m})({\mathbf{x}}_{\mathbf{k}}-\mathbf{m}{)}^{\mathbf{T}})这里m向量：\mathbf{m}=\frac{1}{\mathbf{n}}\sum _{\mathbf{k}=1}^{\mathbf{n}}{\mathbf{x}}_{\mathbf{l}}$$
对于数据X的散度矩阵为$X{X}^T$。其实协方差矩阵和散度矩阵关系密切，散度矩阵就是协方差矩阵乘以（总数据量-1）。因此它们的特征值和特征向量是一样的。这里值得注意的是，散度矩阵是SVD奇异值分解的一步，因此PCA和SVD是有很大联系。

3.3 基于特征值分解协方差矩阵实现PCA算法

数据集 X = { x 1 , x 2 , … x n } X=\{x_1,x_2,…x_n\} X={x1​,x2​,…xn​}，需要降到 k 维。

1. 去中心化，即每一位特征减去各自的平均值。、
2. 计算协方差矩阵 $\frac{1}{n}X{X}^T$, 注：这里除或不除样本数量n或n-1,其实对求出的特征向量没有影响。
3. 用特征值分解方法求协方差矩阵 $\frac{1}{n}X{X}^T$ 的特征值与特征向量。
4. 对特征值从大到小排序，选择其中最大的 $k$个。然后将其对应的 $k$个特征向量分别作为行向量组成特征向量矩阵$P$。
5. 将数据转换到 $k$个特征向量构建的新空间中，即 $Y=PX$。

关于PCA数学原理：http://blog.codinglabs.org/articles/pca-tutorial.html
为什么用特征值分解矩阵，是因为 $\frac{1}{n}X{X}^T$ 是方阵，能很轻松的求出特征值与特征向量。当然，用奇异值分解也可以，是求特征值与特征向量的另一种方法。

举例：
我们用PCA方法将这两行数据降到一行：$X=\left[\begin{array}{ccccc}-1& -1& 0& 2& 0\\ -2& 0& 0& 1& 1\end{array}\right]$

1. 显然：X矩阵的每行已经是零均值，所以不需要去平均值。

2. 求协方差矩阵：$$C=\frac{1}{5}\left[\begin{array}{ccccc}-1& -1& 0& 2& 0\\ -2& 0& 0& 1& 1\end{array}\right]\left[\begin{array}{cc}-1& -2\\ -1& 0\\ 0& 0\\ 2& 1\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}\frac{6}{5}& \frac{4}{5}\\ & \\ \frac{4}{5}& \frac{6}{5}\end{array}\right]$$

3. 求协方差矩阵的特征值与特征向量。

   特征值为：${\lambda }_1=2，{\lambda }_2=\frac{2}{5}$ 　特征向量为：$c_1=\left[\begin{array}{c}1\\ 1\end{array}\right]，c_1=\left[\begin{array}{c}-1\\ 1\end{array}\right]$

   其中对应的特征向量分别是一个通解，$c_1$和$c_2$可以取任意实数。
   那么标准化后的特征向量为：$$\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ \\ \frac{1}{\sqrt{2}}\end{array}\right]，\left[\begin{array}{c}-\frac{1}{\sqrt{2}}\\ \\ \frac{1}{\sqrt{2}}\end{array}\right]$$

4. 矩阵$P$为：$P=\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ & \\ -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]$

5. 最后我们用P的第一行乘以数据矩阵X，就得到了降维后的表示：
   $$Y=\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]\left[\begin{array}{ccccc}-1& -1& 0& 2& 0\\ -2& 0& 0& 1& 1\end{array}\right]=\left[\begin{array}{ccccc}-\frac{3}{\sqrt{2}}& -\frac{1}{\sqrt{2}}& 0& \frac{3}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\end{array}\right]$$
   结果如图所示：
   
   注意：如果我们通过特征值分解协方差矩阵，那么我们只能得到一个方向的PCA降维。这个方向就是对数据矩阵X从行(或列)方向上压缩降维。

3.4 基于SVD分解协方差矩阵实现PCA算法

在PCA降维中，我们需要找到样本协方差矩阵 $X{X}^T$ 的最大k个特征向量，然后用这最大的k个特征向量组成的矩阵来做低维投影降维。可以看出，在这个过程中需要先求出协方差矩阵 $X{X}^T$ ,当样本数多、样本特征数也多的时候，这个计算还是很大的。当我们用到SVD分解协方差矩阵的时候，SVD有两个好处：

1. 有一些SVD的实现算法可以先不求出协方差矩阵 $X{X}^T$ 也能求出我们的右奇异矩阵V。也就是说，我们的PCA算法可以不用做特征分解而是通过SVD来完成，这个方法在样本量很大的时候很有效。实际上，scikit-learn的PCA算法的背后真正的实现就是用的SVD，而不是特征值分解。

2. 注意到PCA仅仅使用了我们SVD的左奇异矩阵，没有使用到右奇异值矩阵，那么右奇异值矩阵有什么用呢？

假设我们的样本是m*n的矩阵X，如果我们通过SVD找到了矩阵 $X^{T}X$ 最大的k个特征向量组成的k*n的矩阵 $V^T$,则我们可以做如下处理：
$$X_{m\ast k}^{\prime }=X_{m\ast k}{V}_{n\ast k}^T$$

可以得到一个m*k的矩阵X’,这个矩阵和我们原来m*n的矩阵X相比，列数从n减到了k，可见对列数进行了压缩。也就是说，左奇异矩阵可以用于对行数的压缩；右奇异矩阵可以用于对列(即特征维度)的压缩。这就是我们用SVD分解协方差矩阵实现PCA可以得到两个方向的PCA降维(即行和列两个方向)。