基变换、特征分解和SVD分解

基变换、特征分解和SVD分解

对于下面用到的线性代数知识的可视化视频放到最后

基变换

在了解特征分解和SVD分解之前，我们需要先了解什么是基变换。

首先我们沿用推荐视频中的称呼，假设你有一个平行世界中的好朋友叫珍尼佛。在我们的世界中，我们很自然地利用垂直坐标系描述一个二维世界，而珍尼佛也有自己的坐标系，只不过我们坐标系的唯一相同点就是我们有相同的原点。这里我们假设珍尼佛的坐标系（在下图中是黄色的基向量）只进行了135°的旋转（和推荐视频中的假设不一样）。我们想要去珍尼佛的世界做客，而且必须通过我们的世界和她的世界互通的唯一通道——虫洞（蓝色圆），对于珍尼佛来说，这个点是（0， -2）。

蓝色是我们世界中的基向量，是为
$$\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$$
她告诉我们黄色的就是她的基向量，在我们的世界看来，是为
$$\left[\begin{array}{cc}-\frac{\sqrt{2}}{2}& -\frac{\sqrt{2}}{2}\\ \frac{\sqrt{2}}{2}& -\frac{\sqrt{2}}{2}\end{array}\right]$$
她告诉我们在她的坐标系下，虫洞的位置是(0, -2)。

我们需要通过这两个信息求出在我们的世界中，我们应该如何去往虫洞。
$$\left[\begin{array}{cc}-\frac{\sqrt{2}}{2}& -\frac{\sqrt{2}}{2}\\ \frac{\sqrt{2}}{2}& -\frac{\sqrt{2}}{2}\end{array}\right]\left[\begin{array}{c}0\\ -2\end{array}\right]=\left[\begin{array}{c}\sqrt{2}\\ \sqrt{2}\end{array}\right]$$
这个应用勾股定理都很容易看得出来。

然而这其中还有个隐藏的矩阵没有显示出来，我们将其完全显式
$$\left[\begin{array}{cc}-\frac{\sqrt{2}}{2}& -\frac{\sqrt{2}}{2}\\ \frac{\sqrt{2}}{2}& -\frac{\sqrt{2}}{2}\end{array}\right]\left[\begin{array}{c}0\\ -2\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]\left[\begin{array}{c}\sqrt{2}\\ \sqrt{2}\end{array}\right]$$
很明显显式表示的这个矩阵实际上我们世界中的基向量。

我们将得出一个公式
$$我们视角下的珍尼佛基向量矩阵\ast 珍尼佛视角下的向量=我们的基向量矩阵\ast 我们视角下的向量$$
而我们视角下的珍尼佛基向量，也就是
$$\left[\begin{array}{cc}-\frac{\sqrt{2}}{2}& -\frac{\sqrt{2}}{2}\\ \frac{\sqrt{2}}{2}& -\frac{\sqrt{2}}{2}\end{array}\right]$$
就是基变换矩阵。她的作用是能够将珍尼佛视角下的向量变成我们视角下的向量，而这个矩阵的逆则恰好相反。
$$\begin{gathered} \because \left[\begin{array}{cc}-\frac{\sqrt{2}}{2}& -\frac{\sqrt{2}}{2}\\ \frac{\sqrt{2}}{2}& -\frac{\sqrt{2}}{2}\end{array}\right]\left[\begin{array}{c}0\\ -2\end{array}\right]=\left[\begin{array}{c}\sqrt{2}\\ \sqrt{2}\end{array}\right] \\ \therefore \left[\begin{array}{c}0\\ -2\end{array}\right]={\left[\begin{array}{cc}-\frac{\sqrt{2}}{2}& -\frac{\sqrt{2}}{2}\\ \frac{\sqrt{2}}{2}& -\frac{\sqrt{2}}{2}\end{array}\right]}^{-1}\left[\begin{array}{c}\sqrt{2}\\ \sqrt{2}\end{array}\right] \end{gathered}$$
通过上面的简单矩阵运算，很明显能看出这个逆矩阵实际上就是珍尼佛视角下的我们的基向量。如果我们的科技先进过珍尼佛的话，我们就可以提供给珍尼佛等式右边的两个信息，她就可以知道她在她的世界中应该怎么到达虫洞中心。

上面的两个等式就是为我们展示了如何将同一个向量在不同的基向量下表示，进行了基变换。

特征分解

$$\begin{array}{rl}& 我们用\hat{A}表示我们视角下的珍尼佛基向量矩阵，\hat{x}表示珍尼佛视角下的向量，x表示我们视角下的向量，\\ & 则有\hat{A}\hat{x}=x。\\ & 现在虫洞的位置发生了改变，进行了一次线性变换，变换矩阵为T，那么变换后的向量为Tx。\\ & 我们打算告诉珍尼佛，让珍尼佛在她的世界中找到新的虫洞位置。\\ & 在此，我们回忆一下上面说过的，我们可以告诉珍尼佛在她的视角下我们的基向量是什么样的，以及我们现在视角下的向量Tx。\\ & 那么Tx在珍尼佛的视角下应该是{\hat{A}}^{-1}Tx，她就可以根据这个结果找到了新的虫洞位置，\\ & 但是她想知道在她的世界中发生了什么样的线性变化，怎么求呢？\\ & 我们将{\hat{A}}^{-1}Tx完全展开为{\hat{A}}^{-1}T\hat{A}\hat{x}，\\ & 发现虫洞原来的位置是\hat{x}，变换后是{\hat{A}}^{-1}T\hat{A}\hat{x}，那么显然这次线性变换在她的世界中是{\hat{A}}^{-1}T\hat{A}，我们称为\hat{T},\\ & T和\hat{T}描述的都是同一次的线性变化，只是视角不同，这给我们带来了启发，对于\hat{T}={\hat{A}}^{-1}T\hat{A}，也就是T=\hat{A}\hat{T}{\hat{A}}^{-1}，\\ & 我们视角下的一个矩阵T可以转移到另一个视角下，从而进行分解。\\ & 但是我们更希望的是找到对我们有用的分解，\\ & 可以想象，如果\hat{T}是对角矩阵，会让我们在做T的幂运算的时候带来极大的好处。\end{array}$$

那么什么时候它才会是一个对角矩阵呢？让我们先回忆一下特征值和特征向量，在我们的坐标系下应用一次线性变换，有一些向量只进行了伸缩，而没进行旋转，它们就是特征向量。假设珍尼佛的世界就是这次线性变换中的特征向量张成的空间，那么她的基向量就是我们眼中的特征向量。在珍尼佛基向量所张成的空间中，我们眼里可能发生的旋转和伸缩，而在珍尼佛的世界中，所有向量只是在不同的特征向量上做了该维度的特征值个单位的伸缩。那么在他们眼中的这次变换就是
$$\hat{T}=\left[\begin{array}{ccccc}{x}_1& .& .& .& 0\\ .& x_2& .& .& 0\\ .& .& .& .& .\\ .& .& .& .& x_n\end{array}\right]$$
那么如何才能分解成用珍尼佛的世界中的变换表示呢？那就是通过基变换变成珍尼佛的世界，因此我们需要知道在我们的视角下的珍尼佛的基向量矩阵，套到上面的说法中，我们视角下的珍尼佛基向量矩阵**\hat A就是这次线性变换T中的特征向量矩阵**，就可以分解成三个矩阵了。

举例

求特征向量和特征值的例子可以看：特征值和特征向量及其在机器学习中的应用

$$\begin{array}{rl}& 设T=\left[\begin{array}{cc}3& 1\\ 0& 2\end{array}\right]，对T进行特征分解\\ & 解：先求特征向量和特征值，（有一些跳步，具体例子看上面的链接）\\ & (3-\lambda )(2-\lambda )-1\ast 0=0,\\ & 解得{\lambda }_1=3，{\lambda }_2=2\\ & 特征向量组成的矩阵为\left[\begin{array}{cc}1& -1\\ 0& 1\end{array}\right]\\ & 因此，T可以化简成如下形式：\\ & \left[\begin{array}{cc}3& 1\\ 0& 2\end{array}\right]=\left[\begin{array}{cc}1& -1\\ 0& 1\end{array}\right]\left[\begin{array}{cc}3& 0\\ 0& 2\end{array}\right]{\left[\begin{array}{cc}1& -1\\ 0& 1\end{array}\right]}^{-1}\\ & 对于T的幂，就可以变成计算:\\ & {\left[\begin{array}{cc}3& 1\\ 0& 2\end{array}\right]}^m=\left[\begin{array}{cc}1& -1\\ 0& 1\end{array}\right]\left[\begin{array}{cc}3& 0\\ 0& 2\end{array}\right]{\left[\begin{array}{cc}1& -1\\ 0& 1\end{array}\right]}^{-1}\ast ......\ast \left[\begin{array}{cc}1& -1\\ 0& 1\end{array}\right]\left[\begin{array}{cc}3& 0\\ 0& 2\end{array}\right]{\left[\begin{array}{cc}1& -1\\ 0& 1\end{array}\right]}^{-1}\\ & 矩阵的逆和原矩阵相乘是单位矩阵,化简为：{\left[\begin{array}{cc}3& 1\\ 0& 2\end{array}\right]}^m=\left[\begin{array}{cc}1& -1\\ 0& 1\end{array}\right]{\left[\begin{array}{cc}3& 0\\ 0& 2\end{array}\right]}^m{\left[\begin{array}{cc}1& -1\\ 0& 1\end{array}\right]}^{-1}\end{array}$$

SVD分解

对于上述的特征分解来说，很明显由于基向量矩阵都是线性无关的，且和特征值一一对应，因此他们都是n阶方阵，那么T也必定是n阶方阵。那么如果我们需要分解的不是方阵怎么办？这就需要用到SVD了。

假设我们现在有个待分解的M*N的矩阵A，我们使用SVD的目标就是让他降维，将A从n维矩阵降到k(k≤m)维。目标就是，在n维空间中，找到一组正交基，使其经过A的变化后仍然是正交的，这样就完成了降维。现在要证明有这组正交基。

证明

$$\begin{array}{rl}& 注意：1\le i,j\le k\\ & 原来的正交基是({\vec{v}}_1,{\vec{v}}_2,...,{\vec{v}}_n)，对于他们的任意两个都是正交的\\ & 即{\vec{v}}_i\cdot {\vec{v}}_j={\vec{v}}_i^T{\vec{v}}_j=0\\ & 经过A的变化则是A{\vec{v}}_i,任意取两个，A{\vec{v}}_i\cdot A{\vec{v}}_j=(A{\vec{v}}_i{)}^T(A{\vec{v}}_j)=v_i^T{A}^{T}A{\vec{v}}_j\\ & 因为A^{T}A是方阵，有(A^{T}A){\vec{v}}_i={\lambda }_i{\vec{v}}_i。\\ & 所以v_i^T{A}^{T}A{\vec{v}}_j=v_i^T{\lambda }_j{\vec{v}}_j={\lambda }_j{v}_i^T{\vec{v}}_j=0\\ & 所以A{\vec{v}}_i，A{\vec{v}}_j正交\end{array}$$

然后我们求这组正交基的单位向量
$$\begin{array}{rl}& 注意：1\le i\le k\\ & \\ & 将新的正交基单位化：\\ & A{\vec{v}}_i\cdot A{\vec{v}}_i=v_i^T{A}^{T}A{\vec{v}}_i={\lambda }_i{\vec{v}}_i^T{\vec{v}}_i={\lambda }_i\\ & \\ & \frac{A{\vec{v}}_i\cdot A{\vec{v}}_i}{|A{\vec{v}}_i||A{\vec{v}}_i|}=1\\ & \\ & |A{\vec{v}}_i{|}^2={\lambda }_i\\ & \\ & {\vec{u}}_i=\frac{A{\vec{v}}_i}{|A{\vec{v}}_i|}=\frac{1}{\sqrt{{\lambda }_i}}A{\vec{v}}_i\\ & \\ & A{\vec{v}}_i={\vec{u}}_i\sqrt{{\lambda }_i}\\ & 把\sqrt{{\lambda }_i}记为{\sigma }_i\\ & \\ & 当i>k,A{\vec{v}}_i=\vec{0}\\ & \\ & \therefore AV=A({\vec{v}}_1,{\vec{v}}_2,...,{\vec{v}}_n)=({\vec{u}}_1{\sigma }_1,{\vec{u}}_2{\sigma }_2,...,{\vec{u}}_k{\sigma }_k,\underset{\text{n-k}}{\underbrace{{\vec{u}}_{k+1}\ast 0,...,0,{\vec{u}}_m\ast 0,...,0}})=U\Sigma \\ & \therefore A=U\Sigma V^T\\ & 就成功将A分解了。其中U是m\ast m的矩阵，\Sigma 是m\ast n的矩阵，V^T是n\ast n的矩阵\end{array}$$
U就是我们所要的矩阵，而真正乘出来会发现实际上用到的是前k个向量。详细看奇异值分解(SVD)原理详解及推导，除此之外，

推导过程还参考了SVD奇异值分解逐步推导，这里面还有SVD分解的例子。

可视化

P13 09 - 基变换

P14 10 - 特征向量与特征值