DeepLearning深度学习（花书）读书笔记——线性代数（三）

接上一篇文章：DeepLearning深度学习（花书）读书笔记——线性代数（二）

---

9、Moore-Penrose伪逆

  对于非方阵而言，其逆矩阵没有定义。但我们希望通过矩阵$\mathbf{A}$的左逆$\mathbf{B}$来求解线性方程：
$$\mathbf{Ax}=\mathbf{y}\text{\hspace{1em}(2.44)}$$
等式两边左乘左逆$\mathbf{B}$后，得到：
$$\mathbf{x}=\mathbf{By}\text{\hspace{1em}(2.45)}$$
  取决于问题的形式，可能无法设计一个唯一的映射将$\mathbf{A}$映射到$\mathbf{B}$。
  Moore-Penrose伪逆使我们在这类问题上取得了进展。矩阵$\mathbf{A}$的伪逆定义为：
$${\mathbf{A}}^{+}=\underset{\alpha \searrow 0}{\lim }({\mathbf{A}}^{\top }\mathbf{A}-\alpha \mathbf{I}{)}^{\text{-}1}{\mathbf{A}}^{\top }\text{\hspace{1em}(2.46)}$$
  计算伪逆的算法没有基于这个定义，而采用下面的公式：
$${\mathbf{A}}^{+}=\mathbf{V}{\mathbf{D}}^{+}{\mathbf{U}}^{\top }\text{\hspace{1em}(2.47)}$$
其中，矩阵$\mathbf{U}$、$\mathbf{V}$和$\mathbf{D}$是矩阵$\mathbf{A}$奇异值分解后的矩阵。对角矩阵$\mathbf{D}$的伪逆${\mathbf{D}}^{+}$是其非零元素取倒数之后再转置得到。
  当矩阵$\mathbf{A}$的列数多于行数时，使用伪逆求解线性方程是众多可能解法中的一种。特别的，$\mathbf{x}={\mathbf{A}}^{+}\mathbf{y}$是方程所有可行解中欧几里得范数$||\mathbf{x}|{|}_2$最小的一个。
  当矩阵$\mathbf{A}$的行数多于列数时，可能没有解。此时，通过伪逆得到的$\mathbf{x}$使得$\mathbf{Ax}$和$\mathbf{y}$的欧氏距离$||\mathbf{Ax}-\mathbf{y}|{|}_2$最小。

10、迹运算

  迹运算返回的是矩阵对角元素的和：
$$Tr(\mathbf{A})=\sum _i{\mathbf{A}}_{i,i}\text{\hspace{1em}(2.48)}$$
  用迹运算可以方便的表示某些矩阵运算。比如描述矩阵Frobenius范数的方式：
$$||\mathbf{A}|{|}_F=\sqrt{Tr({\mathbf{AA}}^{\top })}\text{\hspace{1em}(2.49)}$$
  迹运算在转置运算下是不变的：
$$Tr(\mathbf{A})=Tr({\mathbf{A}}^{\top })\text{\hspace{1em}(2.50)}$$
  多个矩阵相乘的迹，和将最后一个挪到最前面之后相乘的迹是相同的：
$$Tr(\mathbf{ABC})=Tr(\mathbf{CAB})=Tr(\mathbf{BCA})\text{\hspace{1em}(2.51)}$$
  或者，更一般的表达形式：
$$Tr(\prod _{i=1}^n{\mathbf{A}}^{(i)})=Tr({\mathbf{F}}^{(n)}\prod _{i=1}^{n-1}{\mathbf{F}}^{(i)})\text{\hspace{1em}(2.52)}$$
  即使循环置换后矩阵乘积得到的矩阵形状变了，迹运算的结果依然不变。假设矩阵$\mathbf{A}\in {\mathbb{R}}^{m\times n}$，矩阵$\mathbf{B}\in {\mathbb{R}}^{n\times m}$，尽管$\mathbf{AB}\in {\mathbb{R}}^{m\times m}$和$\mathbf{BA}\in {\mathbb{R}}^{n\times n}$，仍可以得到：
$$Tr(\mathbf{AB})=Tr(\mathbf{BA})\text{\hspace{1em}(2.53)}$$
  标量在迹运算后仍然是它自己：$a=Tr(a)$。

11、行列式

  行列式，记作$det(\mathbf{A})$，是将一个方阵$\mathbf{A}$映射到实数的函数。行列式等于矩阵特征值的乘积。
  矩阵可以看作一种变换，行列式的绝对值可以衡量被矩阵变换后的空间扩大或者缩小了。如果行列式是$0$，那么空间至少沿着某一维收缩了，失去了所有体积。如果行列式是$1$，则这个转换保持空间不变。

12、实例：主成分分析

  主成分分析(PCA)是一个简单的机器学习算法，可以通过基础的线性代数知识推导。其主要目的是为了实现数据的降维表示，用以压缩数据节省存储空间或者简化计算复杂度。
  假设在${\mathbb{R}}^n$空间中有一组由$m$个$n$维向量表示的点组成的数据集： { x ( 1 ) , x ( 2 ) , … , x ( m ) } \{\bm{x}^{(1)},\bm{x}^{(2)},\dots,\bm{x}^{(m)}\} {x(1),x(2),…,x(m)}。PCA工作原理是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据集本身是密切相关的。第一个新坐标轴选择是数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得数据方差最大的方向，第三个轴是与第一、二个坐标轴正交的平面中使得数据方差最大的方向。依次类推，可以得到$n$个维度的坐标轴。通过这种方式获得的新坐标轴，大部分方差都包含在前面$l$个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，可以只保留前面$l$个含有绝大部分方差的坐标轴。事实上，PCA算法相当于只保留包含绝大部分方差的维度特征，而忽略包含方差几乎为0的特征维度，实现对数据特征的降维处理。

如何得到这些包含最大差异性的主成分方向

  通过计算数据集的协方差矩阵，然后得到协方差矩阵的特征值和特征向量，选择特征值最大（方差最大）的$l$个特征所对应的特征向量组成转换矩阵。这样就可以将数据集通过转换矩阵转换到新的空间当中，实现对数据集特征的降维。

  PCA本质上是将数据集的$n$维特征映射到$l$维上，且$l<n$，这全新的$l$维特征是正交的，称为主成分。对于数据集中每个点${\mathbf{x}}^{(i)}\in {\mathbb{R}}^n$，会有一个与之对应的编码向量${\mathbf{c}}^{(i)}\in {\mathbb{R}}^l$。PCA算法需要找到一个编码函数，根据输入返回编码：$f(\mathbf{x})=\mathbf{c}$；同时还有一个解码函数，给定编码重构输入：$\mathbf{x}\approx g(\mathbf{c})$。
  PCA算法的实现关键在于我们选择的编、解码函数的形式。为了简化解码器，可以使用矩阵乘法将编码映射回${\mathbb{R}}^n$，即$g(\mathbf{c})=\mathbf{Dc}$，其中$\mathbf{D}\in {\mathbb{R}}^{n\times l}$是定义的解码矩阵。为了有唯一解，限制$\mathbf{D}$中所有列向量都有单位范数。另外，为了使编码简单一些，PCA还限制$\mathbf{D}$的列向量彼此正交。
  为了实现上面的解码器算法，首先需要明确如何根据每一个输入$\mathbf{x}$得到一个最优编码${\mathbf{c}}^{\ast }$，也就是首先要确定编码器。常用的一种方法是：最小化原始输入向量$\mathbf{x}$和重构向量$g({\mathbf{c}}^{\ast })$之间的距离。一般采用范数来衡量向量间的距离，在PCA算法中，使用${\mathbf{L}}^2$范数：
$${\mathbf{c}}^{\ast }=\arg \underset{c}{\min }||\mathbf{x}-g(\mathbf{c})|{|}_2\text{\hspace{1em}(2.54)}$$
  因为${\mathbf{L}}^2$范数是非负的，平方运算在非负值上是单调递增的，因此可以用平方${\mathbf{L}}^2$范数代替${\mathbf{L}}^2$范数，以便于简单运算，两者在相同的$\mathbf{c}$值上取得最小值。
$${\mathbf{c}}^{\ast }=\arg \underset{c}{\min }||\mathbf{x}-g(\mathbf{c})|{|}_2^2\text{\hspace{1em}(2.55)}$$

  式中，需要最小化的函数可以简化成：
$$(\mathbf{x}-g(\mathbf{c}){)}^{\top }(\mathbf{x}-g(\mathbf{c}))\text{\hspace{1em}(2.56)}$$
  根据${\mathbf{L}}^2$范数的定义，上式可以转换为：
$$={\mathbf{x}}^{\top }\mathbf{x}-{\mathbf{x}}^{\top }g(\mathbf{c})-g(\mathbf{c}{)}^{\top }\mathbf{x}+g(\mathbf{c}{)}^{\top }g(\mathbf{c})\text{\hspace{1em}(2.57)}$$
  因为标量($g(\mathbf{c}{)}^{\top }\mathbf{x}$)转置等于自己，结合分配律，则：
$$={\mathbf{x}}^{\top }\mathbf{x}-2{\mathbf{x}}^{\top }g(\mathbf{c})+g(\mathbf{c}{)}^{\top }g(\mathbf{c})\text{\hspace{1em}(2.58)}$$

  因为上式中第一项${\mathbf{x}}^{\top }\mathbf{x}$不依赖于$\mathbf{c}$，因此可以忽略它，得到：
$${\mathbf{c}}^{\ast }=\arg \underset{c}{\min }-2{\mathbf{x}}^{\top }g(\mathbf{c})+g(\mathbf{c}{)}^{\top }g(\mathbf{c})\text{\hspace{1em}(2.59)}$$
  理进一步，代入$g(\mathbf{c})$的定义，变为
$${\mathbf{c}}^{\ast }=\arg \underset{c}{\min }-2{\mathbf{x}}^{\top }\mathbf{Dc}+{\mathbf{c}}^{\top }{\mathbf{D}}^{\top }\mathbf{Dc}\text{\hspace{1em}(2.60)}$$
$$=\arg \underset{c}{\min }-2{\mathbf{x}}^{\top }\mathbf{Dc}+{\mathbf{c}}^{\top }{\mathbf{I}}_l\mathbf{c}\text{\hspace{1em}(2.61)}$$
  根据矩阵$\mathbf{D}$在定义时限制的正交性和单位范数约束，
$$=\arg \underset{c}{\min }-2{\mathbf{x}}^{\top }\mathbf{Dc}+{\mathbf{c}}^{\top }\mathbf{c}\text{\hspace{1em}(2.62)}$$
  可以通过向量微积分来求解上式这个最优化问题（方程式中的最小化值相当于导数为0的值），则问题转化为：
$${\nabla }_c(-2{\mathbf{x}}^{\top }\mathbf{Dc}+{\mathbf{c}}^{\top }\mathbf{c})=0\text{\hspace{1em}(2.63)}$$
$$-2{\mathbf{D}}^{\top }\mathbf{x}+2\mathbf{c}=0\text{\hspace{1em}(2.64)}$$
$$\mathbf{c}={\mathbf{D}}^{\top }\mathbf{x}\text{\hspace{1em}(2.65)}$$
  根据上式，要对$\mathbf{x}$进行最优编码只需要一个矩阵向量的乘法操作。即编码函数定义为：
$$f(\mathbf{x})={\mathbf{D}}^{\top }\mathbf{x}\text{\hspace{1em}(2.66)}$$
  对于PCA重构操作，进一步使用矩阵乘法重新定义为：
$$r(\mathbf{x})=g(g(\mathbf{x}))=\mathbf{D}{\mathbf{D}}^{\top }\mathbf{x}\text{\hspace{1em}(2.67)}$$
  确定了编解码函数的形式为矩阵乘法，接下来，就要确定矩阵$\mathbf{D}$如何获取。因为用相同的矩阵$\mathbf{D}$对所有点进行解码，不能再孤立的看待每个点。因此必须最小化所有给数和所有点上的误差矩阵的Frobenius范数：
$${\mathbf{D}}^{\ast }=\arg \underset{D}{\min }\sqrt{\sum _{i,j}({\mathbf{x}}_j^{(i)}-r({\mathbf{x}}^{(i)}{)}_j{)}^2}\text{subject to }{\mathbf{D}}^{\top }\mathbf{D}={\mathbf{I}}_l\text{\hspace{1em}(2.68)}$$
  为了便于推导，假设$l=1$，此时$\mathbf{D}$是一个向量$\mathbf{d}$，将式(2-67)代入式(2-68)问题简化为：
$${\mathbf{d}}^{\ast }=\arg \underset{d}{\min }\sum _i\left|\right|{\mathbf{x}}^{(i)}-{\mathbf{dd}}^{\top }{\mathbf{x}}^{(i)}|{|}_2^2\text{subject to }||\mathbf{d}|{|}_2=1\text{\hspace{1em}(2.69)}$$
  因为${\mathbf{d}}^{\top }{\mathbf{x}}^{(i)}$是一个标量上述公式更美观的写法为：
$${\mathbf{d}}^{\ast }=\arg \underset{d}{\min }\sum _i\left|\right|{\mathbf{x}}^{(i)}-{\mathbf{d}}^{\top }{\mathbf{x}}^{(i)}\mathbf{d}|{|}_2^2\text{subject to }||\mathbf{d}|{|}_2=1\text{\hspace{1em}(2.70)}$$
  或者写作：
$${\mathbf{d}}^{\ast }=\arg \underset{d}{\min }\sum _i\left|\right|{\mathbf{x}}^{(i)}-{\mathbf{x}}^{(i)\top }\mathbf{dd}|{|}_2^2\text{subject to }||\mathbf{d}|{|}_2=1\text{\hspace{1em}(2.71)}$$
  将数据集中表示各点的向量堆叠成一个$m$行$n$列的矩阵，记作$\mathbf{X}\in {\mathbb{R}}^{m\times n}$其中${\mathbf{X}}_{i,:}={\mathbf{x}}^{(i)\top }$。原问题可重新定义为：
$${\mathbf{d}}^{\ast }=\arg \underset{d}{\min }\left|\right|\mathbf{X}-\mathbf{X}{\mathbf{dd}}^{\top }|{|}_F^2\text{subject to }{\mathbf{d}}^{\top }\mathbf{d}=1\text{\hspace{1em}(2.72)}$$
  暂时不考虑约束条件，可以将Frobenius范数简化成下面的形式：
$$\arg \underset{d}{\min }\left|\right|\mathbf{X}-\mathbf{X}{\mathbf{dd}}^{\top }|{|}_F^2\text{\hspace{1em}(2.73)}$$
$$=\arg \underset{d}{\min }Tr({(\mathbf{X}-\mathbf{X}{\mathbf{dd}}^{\top })}^{\top }(\mathbf{X}-\mathbf{X}{\mathbf{dd}}^{\top }))\text{\hspace{1em}(2.74)}$$
$$=\arg \underset{d}{\min }Tr({\mathbf{X}}^{\top }\mathbf{X}-{\mathbf{X}}^{\top }\mathbf{X}{\mathbf{dd}}^{\top }-{\mathbf{dd}}^{\top }{\mathbf{X}}^{\top }\mathbf{X}+{\mathbf{dd}}^{\top }{\mathbf{X}}^{\top }\mathbf{X}{\mathbf{dd}}^{\top })\text{\hspace{1em}(2.75)}$$
$$=\arg \underset{d}{\min }Tr({\mathbf{X}}^{\top }\mathbf{X})-Tr({\mathbf{X}}^{\top }\mathbf{X}{\mathbf{dd}}^{\top })-Tr({\mathbf{dd}}^{\top }{\mathbf{X}}^{\top }\mathbf{X})+Tr({\mathbf{dd}}^{\top }{\mathbf{X}}^{\top }\mathbf{X}{\mathbf{dd}}^{\top })\text{\hspace{1em}(2.76)}$$
$$=\arg \underset{d}{\min }-Tr({\mathbf{X}}^{\top }\mathbf{X}{\mathbf{dd}}^{\top })-Tr({\mathbf{dd}}^{\top }{\mathbf{X}}^{\top }\mathbf{X})+Tr({\mathbf{dd}}^{\top }{\mathbf{X}}^{\top }\mathbf{X}{\mathbf{dd}}^{\top })\text{\hspace{1em}(2.77)}$$
  因为循环对迹运算不改变结果，因此：
$$=\arg \underset{d}{\min }-2Tr({\mathbf{X}}^{\top }\mathbf{X}{\mathbf{dd}}^{\top })+Tr({\mathbf{dd}}^{\top }{\mathbf{X}}^{\top }\mathbf{X}{\mathbf{dd}}^{\top })\text{\hspace{1em}(2.78)}$$
$$=\arg \underset{d}{\min }-2Tr({\mathbf{X}}^{\top }\mathbf{X}{\mathbf{dd}}^{\top })+Tr({\mathbf{X}}^{\top }\mathbf{X}{\mathbf{dd}}^{\top }{\mathbf{dd}}^{\top })\text{\hspace{1em}(2.79)}$$
  此时，再来考虑约束条件，则有：
$$\arg \underset{d}{\min }-2Tr({\mathbf{X}}^{\top }\mathbf{X}{\mathbf{dd}}^{\top })+Tr({\mathbf{X}}^{\top }\mathbf{X}{\mathbf{dd}}^{\top }{\mathbf{dd}}^{\top })\text{subject to }{\mathbf{d}}^{\top }\mathbf{d}=1\text{\hspace{1em}(2.80)}$$
$$=\arg \underset{d}{\min }-2Tr({\mathbf{X}}^{\top }\mathbf{X}{\mathbf{dd}}^{\top })+Tr({\mathbf{X}}^{\top }\mathbf{X}{\mathbf{dd}}^{\top })\text{subject to }{\mathbf{d}}^{\top }\mathbf{d}=1\text{\hspace{1em}(2.81)}$$
$$=\arg \underset{d}{\min }-Tr({\mathbf{X}}^{\top }\mathbf{X}{\mathbf{dd}}^{\top })\text{subject to }{\mathbf{d}}^{\top }\mathbf{d}=1\text{\hspace{1em}(2.82)}$$
$$=\arg \underset{d}{\max }Tr({\mathbf{X}}^{\top }\mathbf{X}{\mathbf{dd}}^{\top })\text{subject to }{\mathbf{d}}^{\top }\mathbf{d}=1\text{\hspace{1em}(2.83)}$$
$$=\arg \underset{d}{\max }Tr({\mathbf{d}}^{\top }{\mathbf{X}}^{\top }\mathbf{X}\mathbf{d})\text{subject to }{\mathbf{d}}^{\top }\mathbf{d}=1\text{\hspace{1em}(2.84)}$$
  这个最优化问题可以通过特征分解来求解，具体来讲，最优的$\mathbf{d}$是${\mathbf{X}}^{\top }\mathbf{X}$最大特征值对应的特征向量。
  在上是假设$l=1$的情况，仅得到了第一个主成分。一般来讲，当计算主成分的基时，矩阵$\mathbf{D}$由前$l$个最大的特征值对应的特征向量组成。

一般情况下，PCA编码矩阵$\mathbf{D}$的获取

当$l\ne 1$时，$\mathbf{D}$是一个由$l$个向量组成的矩阵，上述问题最终推导为：
$$=\arg \underset{D}{\max }Tr({\mathbf{D}}^{\top }{\mathbf{X}}^{\top }\mathbf{X}\mathbf{D})\text{subject to }{\mathbf{D}}^{\top }\mathbf{D}={\mathbf{I}}_l\text{\hspace{1em}(Z2.12)}$$
  其中，式中${\mathbf{X}}^{\top }\mathbf{X}$称为数据的散度矩阵，其作用等同于最开始提到的数据的协方差矩阵$\frac{1}{m}({\mathbf{X}}^{\top }\mathbf{X})$，因为两者具有相同的特征向量和特征值。同样，该最优化问题仍然通过特征分解来求解，矩阵$\mathbf{D}$由${\mathbf{X}}^{\top }\mathbf{X}$的前$l$个最大的特征值对应的特征向量组成。

如何求解PCA编解码矩阵

假设有$m$条$n$维特征向量组成的数据集。
1）将原始数据按列组成$m$行$n$列矩阵$\mathbf{X}$；
2）去均值（每一维特征减去各自的均值），即将$\mathbf{X}$的每一列（代表一个特征）减去这一列的均值；
3）求出协方差矩阵$\frac{1}{m}({\mathbf{X}}^{\top }\mathbf{X})$或散度矩阵${\mathbf{X}}^{\top }\mathbf{X}$；
4）求出上述矩阵的特征值及对应的特征向量；
5）将特征向量按对应特征值大小从上到下按行排列成矩阵，取前$l$行组成矩阵$\mathbf{D}$；
6）$\mathbf{C}={\mathbf{D}}^{\top }\mathbf{X}$即为降维到$l$维后的数据；
7）${\mathbf{X}}^{\ast }=\mathbf{D}\mathbf{C}$即为复原后的数据。