Lecture 7:Eckart-Young: The Closest Rank k Matrix to A

Eckart-Young: The Closest Rank k Matrix to A

1 Eckart-Young Theorem(low rank approximation)

If $B$ has rank $k$, then $\Vert A-B\Vert \ge \Vert A-A_k\Vert$

说明在所有秩(rank)为$k$的矩阵中，离$A$最近的是$A_k$，其中：
$$\begin{gathered} A=U\Sigma V^T={\sigma }_1{\mathbf{u}}_1{{\mathbf{v}}_1}^T+{\sigma }_2{\mathbf{u}}_2{{\mathbf{v}}_2}^T+...+{\sigma }_r{\mathbf{u}}_{\mathbf{r}}{{\mathbf{v}}_{\mathbf{r}}}^T \\ {A}_k=U_k{\Sigma }_k{V}_k^T={\sigma }_1{\mathbf{u}}_1{{\mathbf{v}}_1}^T+{\sigma }_2{\mathbf{u}}_2{{\mathbf{v}}_2}^T+...+{\sigma }_k{\mathbf{u}}_{\mathbf{k}}{{\mathbf{v}}_{\mathbf{k}}}^T \end{gathered}$$

${\sigma }_1\ge {\sigma }_1\ge ...\ge {\sigma }_r>0$

例如，对于一个矩阵$A$：
$$A=\left(\begin{array}{cccc}4& 0& 0& 0\\ 0& 3& 0& 0\\ 0& 0& 2& 0\\ 0& 0& 0& 1\end{array}\right)$$
可以验证，对角线分别为矩阵的奇异值，则$A_2$定义为：
$$A_2=\left(\begin{array}{cccc}4& 0& 0& 0\\ 0& 3& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}\right)$$
可以验证$A_2$是所以rank为2的矩阵中离$A$最近的，相当于是$A$的低维矩阵近似。

2 Vector Norm(向量范式)

定义为:
$$\Vert \mathbf{v}{\Vert }_p=(\sum _{i=1}^n|v_i{|}^p{)}^{1/p}$$

根据p的不同有以下形式

L1 Norm
$$\Vert \mathbf{v}{\Vert }_1=|v_1|+|v_2|+...+|v_n|$$
L2 Norm
$$\Vert \mathbf{v}{\Vert }_2=\sqrt{|v_1{|}^2+|v_2{|}^2+...+|v_n{|}^2}$$
Infinity Norm
$$\Vert \mathbf{v}{\Vert }_{\infty }=\underset{i}{\max }|v_i|$$

Properties:

$$\begin{array}{rl}\text{(1)}& \Vert c\mathbf{v}\Vert =|c|\cdot \Vert \mathbf{v}\Vert \\ \text{(2)}& \Vert \mathbf{v}+\mathbf{w}\Vert \le \Vert \mathbf{v}\Vert +\Vert \mathbf{w}\Vert \end{array}$$

首先证明L1 Norm，令$\mathbf{v}=[v_1,v_2,..,v_n{]}^T$，则$\Vert \mathbf{v}{\Vert }_1=|v_1|+|v_2|+...+|v_n|$
$$\begin{array}{rl}\Vert c\mathbf{v}{\Vert }_1& =|c{v}_1|+|c{v}_2|+...+|c{v}_n|\\ & =|c||v_1|+|c||v_2|+...+|c||v_n|\\ & =|c|(|v_1|+|v_2|+...+|v_n|)\\ & =|c|\cdot \Vert \mathbf{v}{\Vert }_1\end{array}$$
令$\mathbf{w}=[w_1,w_2,..,w_n{]}^T$，则$\mathbf{v}+\mathbf{w}=[v_1+w_1,v_2+w_2,..,v_n+w_n{]}^T$
$$\begin{array}{rl}\Vert \mathbf{v}+\mathbf{w}{\Vert }_1& =|v_1+w_1|+|v_2+w_2|+...+|v_n+w_n|\\ \Vert \mathbf{v}{\Vert }_1+\Vert \mathbf{w}{\Vert }_1& =(|v_1|+|w_1|)+(|v_2|+|w_2|)+...+(|v_n|+|w_n|)\end{array}$$
又对于任意两个实数$x,y$，$|x+y|\le |x|+|y|$，所以$\Vert \mathbf{v}+\mathbf{w}{\Vert }_1\le \Vert \mathbf{v}{\Vert }_1+\Vert \mathbf{w}{\Vert }_1$成立。

L2 Norm，有$\Vert \mathbf{v}{\Vert }_2=\sqrt{|v_1{|}^2+|v_2{|}^2+...+|v_n{|}^2}$
$$\begin{array}{rl}\Vert c\mathbf{v}{\Vert }_2& =\sqrt{|c{v}_1{|}^2+|c{v}_2{|}^2+...+|c{v}_n{|}^2}\\ & =\sqrt{|c{|}^2|v_1{|}^2+|c{|}^2|v_2{|}^2+...+|c{|}^2|v_n{|}^2}\\ & =\sqrt{|c{|}^2(|v_1{|}^2+|v_2{|}^2+...+|v_n{|}^2)}\\ & =|c|\sqrt{|v_1{|}^2+|v_2{|}^2+...+|v_n{|}^2}\\ & =|c|\cdot \Vert \mathbf{v}{\Vert }_2\end{array}$$

性质(1)证明完毕。

$$\begin{array}{rl}\Vert \mathbf{v}+\mathbf{w}{\Vert }_2& =\sqrt{|v_1+w_1{|}^2+|v_2+w_2{|}^2+...+|v_n+w_n{|}^2}\\ & =\sqrt{\sum _{i=1}^n|v_i+w_i{|}^2}\\ & =\sqrt{\sum _{i=1}^n{(v_i+w_i)}^2}\\ \Vert \mathbf{v}{\Vert }_2+\Vert \mathbf{w}{\Vert }_2& =\sqrt{|v_1{|}^2+|v_2{|}^2+...+|v_n{|}^2}+\sqrt{|w_1{|}^2+|w_2{|}^2+...+|w_n{|}^2}\\ & =\sqrt{\sum _{i=1}^n|v_i{|}^2}+\sqrt{\sum _{i=1}^n|w_i{|}^2}\end{array}$$

因为都是不小于0的实数，可以通过其平方比较大小:
$$\begin{array}{rl}{\Vert \mathbf{v}+\mathbf{w}{\Vert }_2}^2& =\sum _{i=1}^n{(v_i+w_i)}^2\\ & =\sum _{i=1}^n(v_i^2+2v_i{w}_i+w_i^2)\\ & =\sum _{i=1}^n{v}_i^2+2\sum _{i=1}^n{v}_i{w}_i+\sum _{i=1}^n{w}_i^2\\ {\Vert \mathbf{v}{\Vert }_2+\Vert \mathbf{w}{\Vert }_2}^2& ={\left(\sqrt{\sum _{i=1}^n{v}_i^2}+\sqrt{\sum _{i=1}^n{w}_i^2}\right)}^2\\ & =\sum _{i=1}^n{v}_i^2+2\sqrt{\sum _{i=1}^n{v}_i^2\sum _{i=1}^n{w}_i^2}+\sum _{i=1}^n{w}_i^2\end{array}$$

由柯西不等式(Cauchy–Schwarz Inequality) ${\sum }_{i=1}^n{x}_i^2{\sum }_{i=1}^n{y}_i^2\ge {\left({\sum }_{i=1}^n{x}_i{y}_i\right)}^2$，则有:
$$\sqrt{\sum _{i=1}^n{v}_i^2\sum _{i=1}^n{w}_i^2}\ge \sqrt{{\left(\sum _{i=1}^n{v}_i{w}_i\right)}^2}\ge |\sum _{i=1}^n{v}_i{w}_i|\ge \sum _{i=1}^n{v}_i{w}_i$$
所以$\Vert \mathbf{v}+\mathbf{w}{\Vert }_2\le \Vert \mathbf{v}{\Vert }_2+\Vert \mathbf{w}{\Vert }_2$成立，性质(2)证明完毕。

3 Matrix Norm(矩阵范式)

用$\Vert A\Vert$表示矩阵$A$的范式，下面给出几个矩阵范式的形式

L2 Norm
$$\Vert A{\Vert }_2={\sigma }_1$$
Frobenius Norm
$$\Vert A{\Vert }_F=\sqrt{\sum _{i=1}^n\sum _{j=1}^m{(a_{ij})}^2}=\sqrt{a_{11}^2+...+a_{1m}^2+...+a_{n1}^2+...+a_{nm}^2}$$
Nuclear Norm
$$\Vert A{\Vert }_{Nuclear}={\sigma }_1+{\sigma }_2+...+{\sigma }_r$$
Netflix的推荐系统和MRI中会应用到这个范式。

3 Pincipal Components Analysis(PCA)

假设有$N$个人的身高年龄的数据，存储在$A_o$中$A_o=\left({\mathbf{v}}_1,{\mathbf{v}}_2,...,{\mathbf{v}}_{\mathbf{N}}\right)$，其中${\mathbf{v}}_{\mathbf{i}}\in {\mathbb{R}}^2,(i=1,..,N)$，令其第一维代表身高，第二维代表年龄。

首先进行正则化，$A=A_o-\left(\begin{array}{cccc}{a}_h& a_h& ...& a_h\\ a_a& a_a& ...& a_a\end{array}\right)$，其中$a_h=\frac{1}{N}{\sum }_{i=1}^N{v}_{i1}$，$a_a=\frac{1}{N}{\sum }_{i=1}^N{v}_{i2}$，分别代表身高和年龄的平均值。PCA就是找到下图的一条线，实际上就是$age={\sigma }_1\cdot height$：

其实是一个最小化问题，协方差矩阵(covariance matrix)定义为$S=\frac{A{A}^T}{N-1}$，则我们称协方差矩阵的单位特征向量为数据的主成分(principal components)，第一主成分是$S$中最大特征值对应的特征向量，以此类推。

注意与最小二乘(least squares)的区别，最小二乘图如下，三个点的least squres，实际上是最小化图上的三个距离之和：