[深度学习]数学基础之线性代数

[数学基础]线性代数

学习内容源于深度之眼公众号的花书训练营课程

1. 从特殊矩阵的对角化到矩阵压缩

假设 $B$ 是一个方阵，如果存在一个单位正交矩阵 $P$ 使得 $A=PB{P}^{-1}$ ，其中 $A$ 是一个对角阵，则称 $A$ 是 $B$ 的对角化。单位正交矩阵 $P$ 有这么一个性质：$P{P}^T=P^{T}P=I$ ，再结合逆矩阵的性质可知 $P^T=P^{-1}$ ,从而有
$$B=P^{-1}AP=P^{T}AP$$
然而并不是所有的方阵都可以进行对角化的，根据定理可知，对称矩阵一定可以对角化，其中如果是对称正定矩阵则对角阵 $A$ 的元素 ${\lambda }_i$ 均为正数。

我们令单位正交矩阵 $P^T=[{\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_{\mathbf{n}}]$ ，其中 ${\mathbf{u}}_{\mathbf{i}}$ 是一个 $n$ 维的列向量，则 $B$ 可以这样表示
$$\begin{array}{rl}B& =[{\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_{\mathbf{n}}]\left[\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right]\left[\begin{array}{c}{{\mathbf{u}}_1}^T\\ {{\mathbf{u}}_2}^T\\ ⋮\\ {{\mathbf{u}}_{\mathbf{n}}}^T\end{array}\right]\\ & =[{\lambda }_1{\mathbf{u}}_1,{\lambda }_2{\mathbf{u}}_2,\cdots ,{\lambda }_n{\mathbf{u}}_{\mathbf{n}}]\left[\begin{array}{c}{{\mathbf{u}}_1}^T\\ {{\mathbf{u}}_2}^T\\ ⋮\\ {{\mathbf{u}}_{\mathbf{n}}}^T\end{array}\right]\\ & ={\lambda }_1{\mathbf{u}}_1{{\mathbf{u}}_1}^T+{\lambda }_2{\mathbf{u}}_2{{\mathbf{u}}_2}^T+\cdots +{\lambda }_n{\mathbf{u}}_{\mathbf{n}}{{\mathbf{u}}_{\mathbf{n}}}^T\end{array}$$
其中，${\mathbf{u}}_{\mathbf{i}}{{\mathbf{u}}_{\mathbf{i}}}^T$ 是一个 $n\times n$ 的矩阵。因此矩阵 $B$ 可以看作是 $n$ 个特别矩阵的加权和。根据存储条件或者误差限可以适当的进行近似替代，将对角阵 $A$ 的元素 ${\lambda }_i$ 进行降序排列，取前几项的和去近似矩阵 $B$ ，${\lambda }_i$ 在这里就是信息占比权重，比如，取前 $k$ 个 $\lambda$ 做矩阵 $B$ 的近似：
$$\hat{B}={\lambda }_1{\mathbf{u}}_1{{\mathbf{u}}_1}^T+{\lambda }_2{\mathbf{u}}_2{{\mathbf{u}}_2}^T+\cdots +{\lambda }_n{\mathbf{u}}_{\mathbf{k}}{{\mathbf{u}}_{\mathbf{k}}}^T$$
此时矩阵 $\hat{B}$ 包含了 $B$ 的信息的 $\eta =\frac{\sum _{i=1}^k{\lambda }_i}{\sum _{i=1}^n{\lambda }_i}$ 。这个过程就是矩阵压缩的技术。

2. 从特殊矩阵的分解到一般矩阵的SVD分解

矩阵对角化的条件还是蛮苛刻的，必须满足两个条件：方阵以及对称。可见一般情况下一个矩阵 $A_{m\times n}$ 是不能进行对角化的。那么有没有其他的分解方法呢？

对于任意一个矩阵 $A_{m\times n}$ ，我们可以推导出 $(A^{T}A{)}_{n\times n}$ 是一个对称半正定矩阵。

对称性：

$$(A^{T}A{)}^T=A^T(A^T{)}^T=A^{T}A$$

半正定性：

$$\forall \mathbf{x}\in {\mathbb{R}}^n,{\mathbf{x}}^T(A^{T}A)\mathbf{x}=({\mathbf{x}}^T{A}^T)(A\mathbf{x})=(A\mathbf{x}{)}^T(A\mathbf{x})\ge 0$$

同理，可知 $(A{A}^T{)}_{m\times m}$ 也是一个对称半正定矩阵。因此两者都可以对角化:
$$\begin{array}{r}{A}^{T}A=U^T{D}_{1}U\\ A{A}^T=V^T{D}_{2}V\end{array}$$
其中，$U\in {\mathbb{R}}^{n\times n},V\in {\mathbb{R}}^{m\times m}$ 都是单位正交矩阵，$D_1\in {\mathbb{R}}^{n\times n},D_2\in {\mathbb{R}}^{m\times m}$ 都是对角矩阵，而且 $D_1,D_2$ 对角线上的非零元素是一样的。不妨设 $D_1,D_2$ 对角线上的非零元素为前 $k$ 个，分别为 ${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_k$ 。

则矩阵 $A_{m\times n}$ 的SVD分解为以下形式：
$$A_{m\times n}=V_{m\times m}^T{\left[\begin{array}{cccccc}{\lambda }_1^{\frac{1}{2}}& & & & & \\ & {\lambda }_2^{\frac{1}{2}}& & & & \\ & & \ddots & & & \\ & & & {\lambda }_k^{\frac{1}{2}}& & \\ & & & & 0& \\ & & & & & \ddots \end{array}\right]}_{m\times n}{U}_{n\times n}$$
令 $V^T=[{\mathbf{v}}_1,{\mathbf{v}}_2,\cdots ,{\mathbf{v}}_{\mathbf{m}}],{\mathbf{v}}_i\in {\mathbb{R}}^m.U^T=[{\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_{\mathbf{n}}],{\mathbf{u}}_i\in {\mathbb{R}}^n$ ,有
$$\begin{array}{rl}{A}_{m\times n}& =[{\mathbf{v}}_1,{\mathbf{v}}_2,\cdots ,{\mathbf{v}}_{\mathbf{m}}]\left[\begin{array}{cccccc}{\lambda }_1^{\frac{1}{2}}& & & & & \\ & {\lambda }_2^{\frac{1}{2}}& & & & \\ & & \ddots & & & \\ & & & {\lambda }_k^{\frac{1}{2}}& & \\ & & & & 0& \\ & & & & & \ddots \end{array}\right]\left[\begin{array}{c}{{\mathbf{u}}_1}^T\\ {{\mathbf{u}}_2}^T\\ ⋮\\ {{\mathbf{u}}_{\mathbf{n}}}^T\end{array}\right]\\ & =[{\lambda }_1^{\frac{1}{2}}{\mathbf{v}}_1,{\lambda }_2^{\frac{1}{2}}{\mathbf{v}}_2,\cdots ,{\lambda }_k^{\frac{1}{2}}{\mathbf{v}}_k,0,\cdots ,0]\left[\begin{array}{c}{{\mathbf{u}}_1}^T\\ {{\mathbf{u}}_2}^T\\ ⋮\\ {{\mathbf{u}}_{\mathbf{n}}}^T\end{array}\right]\\ & ={\lambda }_1^{\frac{1}{2}}{\mathbf{v}}_1{{\mathbf{u}}_1}^T+{\lambda }_2^{\frac{1}{2}}{\mathbf{v}}_2{{\mathbf{u}}_2}^T+\cdots +{\lambda }_k^{\frac{1}{2}}{\mathbf{v}}_k{{\mathbf{u}}_{\mathbf{k}}}^T\end{array}$$
对于矩阵 $A_{m\times n}$ 的存储需要 $(m+n+1)\times k$ 个参数。如若想要在一定的存储条件和误差限范围内进行存前 $p$ 项近似，则误差为
$$Error=1-\frac{\sum _{i=1}^p{\lambda }_i}{\sum _{i=1}^{min(m,n)}{\lambda }_i}$$

3. 从逆矩阵到最小二乘法再到伪逆矩阵和最小范数

背景来源：

已知向量 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_N,{\mathbf{x}}_i\in {\mathbb{R}}^n$ 和 ${\mathbf{y}}_1,{\mathbf{y}}_2,\cdots ,{\mathbf{y}}_N,{\mathbf{y}}_i\in {\mathbb{R}}^1$ ，有线性方程组
$$\begin{array}{r}\left[\begin{array}{c}{\mathbf{y}}_1\\ {\mathbf{y}}_2\\ ⋮\\ {\mathbf{y}}_N\end{array}\right]=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1n}\\ x_{21}& x_{22}& \cdots & x_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ x_{N1}& x_{N2}& \cdots & x_{Nn}\end{array}\right]\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_n\end{array}\right]\end{array}$$
待求 $\mathbf{a}=[a_1,a_2,\cdots ,a_n{]}^T$ 。用矩阵形式表示为
$$X_{N\times n}{\mathbf{a}}_{n\times 1}={\mathbf{y}}_{N\times 1}$$
如果上式中 $N=n$ 并且 $X$ 可逆，则有唯一解
$$\mathbf{a}=X^{-1}\mathbf{y}$$
但是上述求解的条件也是很苛刻，因为可逆这个条件使得矩阵 $X$ 必须是方阵，即需要数据的个数和数据的维度相等，并且还得满足其正定性。

一般情况下 $N\ne n$ ，因此公式$(5)$ 难以直接求精确解，但是我们可以求取它的近似解，使得近似解尽可能地接近精确解。即
$$\underset{a}{\min }||X\mathbf{a}-\mathbf{y}|{|}^2$$
令
$$\begin{array}{rl}J& =||X\mathbf{a}-\mathbf{y}|{|}^2\\ & =(X\mathbf{a}-\mathbf{y}{)}^T(X\mathbf{a}-\mathbf{y})\\ & =({\mathbf{a}}^T{X}^T-{\mathbf{y}}^T)(X\mathbf{a}-\mathbf{y})\\ & ={\mathbf{a}}^T{X}^{T}X\mathbf{a}-{\mathbf{a}}^T{X}^T\mathbf{y}-{\mathbf{y}}^{T}X\mathbf{a}+{\mathbf{y}}^T\mathbf{y}\\ & ={\mathbf{a}}^T{X}^{T}X\mathbf{a}-2{\mathbf{y}}^{T}X\mathbf{a}+{\mathbf{y}}^T\mathbf{y}\end{array}$$
其极小值需要满足一个必要条件
$$\begin{array}{rl}\frac{\partial J}{\partial \mathbf{a}}& =0\\ 2X^{T}X\mathbf{a}-2X^T\mathbf{y}& =0\\ X^{T}X\mathbf{a}& =X^T\mathbf{y}\end{array}$$
这个时候有一个问题出现了， $X^{T}X$ 可逆吗？尽管我们知道 $X^{T}X$ 是一个对称半正定矩阵，但他并不能保证一定是可逆的，因此需要分情况讨论。

1. 当 $N>n$ 时

   此时 $(X^{T}X)$ 是一个 $n\times n$ 的矩阵，一般情况下它是可逆的，因此有
   $$\mathbf{a}=(X^{T}X{)}^{-1}{X}^T\mathbf{y}$$
   其中 $(X^{T}X{)}^{-1}{X}^T$ 被称为 $X$ 的伪逆。这个时候公式$(8)$ 就被称为最小二乘法。

2. 当 $N<n$ 时

   此时 $(X^{T}X)$ 是一个 $n\times n$ 的矩阵，由于 $R(X^{T}X)\le R(X)\le N$ 进而 $R(X^{T}X)\ne n$ 因此它是不可逆的。

   当遇见第2种情况时，我们该怎么办呢？这里给大家提供一种正则化的方法，即令
   $$\begin{array}{rl}J& =||X\mathbf{a}-\mathbf{y}|{|}^2+\lambda ||\mathbf{a}|{|}^2\\ & =(X\mathbf{a}-\mathbf{y}{)}^T(X\mathbf{a}-\mathbf{y})+\lambda {\mathbf{a}}^T\mathbf{a}\\ & =({\mathbf{a}}^T{X}^T-{\mathbf{y}}^T)(X\mathbf{a}-\mathbf{y})+\lambda {\mathbf{a}}^T\mathbf{a}\\ & ={\mathbf{a}}^T{X}^{T}X\mathbf{a}-{\mathbf{a}}^T{X}^T\mathbf{y}-{\mathbf{y}}^{T}X\mathbf{a}+{\mathbf{y}}^T\mathbf{y}+\lambda {\mathbf{a}}^T\mathbf{a}\\ & ={\mathbf{a}}^T{X}^{T}X\mathbf{a}-2{\mathbf{y}}^{T}X\mathbf{a}+{\mathbf{y}}^T\mathbf{y}+\lambda {\mathbf{a}}^T\mathbf{a}\end{array}$$
   此时再令
   $$\begin{array}{rl}\frac{\partial J}{\partial \mathbf{a}}& =0\\ 2X^{T}X\mathbf{a}-2X^T\mathbf{y}+\lambda \mathbf{a}& =0\\ X^{T}X\mathbf{a}+\lambda \mathbf{a}& =X^T\mathbf{y}\\ (X^{T}X+\lambda I)\mathbf{a}& =X^T\mathbf{y}\end{array}$$
   在上面的式子里，$(X^{T}X+\lambda I)$ 一定是可逆的。

   $\forall \mathbf{y}\in {\mathbb{R}}^n,\mathbf{y}\ne 0$ ,有
   $$\begin{array}{rl}{\mathbf{y}}^T(X^{T}X+\lambda I)\mathbf{y}& ={\mathbf{y}}^T{X}^{T}X\mathbf{y}+\lambda {\mathbf{y}}^T\mathbf{y}\\ & =(X\mathbf{y}{)}^T(X\mathbf{y})+\lambda {\mathbf{y}}^T\mathbf{y}\\ & =||X\mathbf{y}|{|}^2+\lambda ||\mathbf{y}|{|}^2>0\end{array}$$
   因此$(X^{T}X+\lambda I)$ 是对称正定的，所以可逆。

   因此有
   $$\mathbf{a}=(X^{T}X+\lambda I{)}^{-1}{X}^T\mathbf{y}$$
   这种求解方法称之为最小范数法，也是机器学习中的岭回归。

4. PCA原理和推导

原理

PCA实质上还是一种数据压缩的技术，如上图所示，已知 $N$ 个样本点(‘+’标记)，每一个样本点需要两个参数来表述，那么所有样本点共需要 $2\ast N$ 个参数。现在我们想找一个方向如图中 $\vec{u}$ ,使得每一个样本点向这个方向做投影，使得 $\vec{u}$ 成为新的坐标轴，此时样本点在新坐标轴上的位置只需要一个参数就可以表示，那么所有投影点共需要 $N+2$ 个参数来表示，从而达到了数据降维的目的。

但是这种用投影点替代真实样本点的方法，必然会带来误差，也就是A和A’之间的距离。因此我们需要找到一个投影方向，使得所有样本点与投影点之间的误差和最小，即最小重构误差。

做PCA前，需要将样本进行中心化操作，这样可以使得误差更小。

推导

首先我们需要知道一个原始点与投影点之间的误差是多少？如图所示，假定 $||\vec{u}||=1$ ，已知有一点 $\vec{x}$ ，在未知的 $\vec{u}$ 方向上的投影点为 $<\vec{x},\vec{u}>\vec{u}$ ，此时误差为
$$\begin{array}{rl}E& =\vec{x}-<\vec{x},\vec{u}>\vec{u}\\ & =x-(x^{T}u)u\end{array}$$
其中，$x,u\in {\mathbb{R}}^n,且u^{T}u=1$

我们的目的就是求取误差 $J$ 取最小值时的 $\vec{u}$，即
$$\begin{array}{rl}\underset{\vec{u}}{\min }||E|{|}^2& =||x-(x^{T}u)u|{|}^2\\ & =[x-(x^{T}u)u{]}^T[x-(x^{T}u)u]\\ & =[x^T-(x^{T}u)u^T][x-(x^{T}u)u]\\ & =x^{T}x-(x^{T}u{)}^2-(x^{T}u{)}^2+(x^{T}u{)}^2\\ & =x^{T}x-(x^{T}u{)}^2\\ & =||x|{|}^2-(x^{T}u{)}^2\end{array}$$
从而就是
$$\underset{\vec{u}}{\max }(x^{T}u{)}^2\Rightarrow \underset{\vec{u}}{\max }(x^{T}u)(x^{T}u)\Rightarrow \underset{\vec{u}}{\max }(u^{T}x)(x^{T}u)\Rightarrow \underset{\vec{u}}{\max }{u}^T(x{x}^T)u$$
以上推导是针对使得一个样本的重构误差最小，那么如果给了 $N$ 个样本点，我们就需要找到一个 $\vec{u}$ 使得所有样本点的重构误差和最小，即
$$\underset{\vec{u}}{\max }{u}^T\sum _{i=1}^N(x_i{x}_i^T)u$$
令 $X=\sum _{i=1}^N(x_i{x}_i^T)$ ,此时 $X$ 一般是对称正定矩阵，则有最优化公式
$$\{\begin{array}{r}\underset{\vec{u}}{\max }{u}^{T}Xu\\ st.||u||=1\end{array}$$
上面是一个有约束条件的最优化公式，我们使用拉格朗日乘子法进行求解，令
$$\begin{array}{r}L(u,\lambda )=u^{T}Xu+\lambda (1-u^{T}u)\end{array}$$
然后对 $u,\lambda$ 进行求导，使得
$$\begin{gathered} \frac{\partial L}{\partial u}=0\Rightarrow Xu=\lambda u \\ \frac{\partial L}{\partial \lambda }=0\Rightarrow u^{T}u=1 \end{gathered}$$
根据公式$(12)$，我们只需要对 $X$ 进行特征分解，找到其特征向量，然后对其特征向量做单位化即可。由于 $X$ 是对称正定矩阵，因此它有 $n$ 个 特征值和其对应的特征向量，这里的特征向量就是我们想要的投影主方向，其中特征值的大小是反映了该主方向的重要程度。