协方差矩阵行列式为0_深度学习中的线性代数3：矩阵的操作和性质

接上一篇：刘博：深度学习中的线性代数2：矩阵乘法

3. 矩阵的操作和性质

3.1 单位矩阵和对角矩阵

单位矩阵

定义：所有对角元素均为1，其他元素都是0的方阵。

表达式：

性质：

对角矩阵

定义：除对角元素外，其他元素都是0的矩阵。

表达式：

显然，单位矩阵是对角矩阵的特殊情况

。

3.2 转置

定义：矩阵的转置，就是“交换”矩阵的行和列。

表达式：

性质：

3.3 对称矩阵

定义：对于方阵

，如果

， 那么，A就是对称矩阵，如果

， 那么A就是反对称矩阵（ anti-symmetric）。

例如：

就是一个对称矩阵，

就是一个反对称矩阵。

性质：任何一个矩阵都可以表示成对称矩阵和反对称矩阵和的形式，因为

。 一般把所有对称矩阵的集和表示为

，所以

表示A是一个对称矩阵。

3.4 矩阵的迹

定义：对于方阵

, 其对角元素的和就是矩阵的迹。

表达式：

性质：

• ，当然，前提是这里的AB是方阵。
• ,以及任何多个矩阵的积（方阵）都满足迹的交换律。

3.5 矩阵的范数

向量的范数

是一种非正式的向量长度的测量，以常用的欧几里得范数（ Euclidean or l2 norm）为例，定义如下：

注意：

范数更加正式的定义是：任何满足下述条件的函

• 正定性或非负性（ non-negativity）：对于
  ,
• 确定性（ definiteness），当且仅当x=0时，f(x)=0
• 齐次性（homogeneity），对于
• 满足三角不等式（triangle inequality），对于

矩阵的范数，以菲罗贝尼乌斯范数（Frobenius norm）为例：

还有很多其他的范数，但是超出了本文的谈论范围。

3.6 线性无关和矩阵的秩

线性无关（Linear Independence）

定义：对于向量集

,如果其中的任何一个向量

都不能被其他向量的线性组合所表示，那么这个向量集就是线性无关的。相反，如果有向量可以被其他向量的组合所表示，那么就是线性相关（Linear dependence）的。

例子：

上述向量集就是线性相关的，因为

。

列秩

最大的线性独立的列向量的子集合的列数。

行秩：最大的线性独立的行向量的子集合的行数。

也就是说，假设矩阵A有n行，其中能找到的最大的子集合有n-2行，那么矩阵A的行秩就是n-2。 矩阵的列秩和行秩相等（读者可以自行证明），所以，一般来说统一称为矩阵的秩（Rank）。

表达式：

性质：

• 对于
  如果
  那么我们说A是
  满秩。
• 对于
• 对于
• 对于

3.7 矩阵的逆

对于方阵

，A的逆表示为

，单位矩阵是唯一满足以下公式的矩阵:

注意，不是所有的矩阵都有逆矩阵，记住这句话：不是方阵一定不存在逆矩阵（逆矩阵的定义），是方阵不一定存在逆矩阵。

如果A存在逆矩阵

，那么我们说A是可逆的（invertible），也可以说A是非奇异矩阵（non-singular）。 如果A不存在逆矩阵

，那么我们说A是不可逆的(non-invertible)，也可以说A是奇异矩阵(singular)。 如果A存在逆矩阵，那么A一定是满秩（后面会讲到很多其他的满足A存在逆矩阵的充分必要条件）。

性质：

• ,所以当我么想要A的逆的转置时，表达为

3.8 正交矩阵

先说正交向量，如果对于

，

,那么我们说，x和y是正交的（ orthogonal ）。

再来说说归一化，如果一个向量的范数是1，

，那么这个向量是归一化的。

有了前面两个定义，我们现在来定义正交矩阵，对于一个方阵来说

，如果U的所有列向量都是正交且归一化的，那么我们就说这个矩阵是正交的。

我们还可以得到：

也就是说，正交矩阵的逆等于正交矩阵的转置。

最后，正交矩阵的性质，正交矩阵乘以一个向量，不影响这个向量的范数，如下：

3.9 矩阵列空间和零空间

生成空间

定义：一个向量集合

的生成空间的是所有能被表示为该向量集的线性组合的所有向量的集合。

表达式：

投影

定义：我们定义向量

向

（我们假设

）的生成空间的投影是向量

，这个向量

与

的距离最近，距离的定义是欧式范数。

表达式：

列空间

定义：矩阵

的列组成的向量集的生成空间。

表达式：

列空间的投影

定义：假设

是满秩而且

，那么向量

向

的投影定义为：

其实列空间的投影得到的就是最小二乘估计的参数

。

零空间

定义：由所有右乘矩阵

等于0的向量组成的集合称为该矩阵的零空间，记为

表达式：

正交补

注意，

中的向量维度是m，而

中的向量维度是n，所以

和

的维度都是n，实际上，这两个集和是不想加的，而且两个集合扩展了整个n维空间

。这种结合我们称作

正交补，记作

3.10 行列式

定义: 一个方阵

的行列式就是一个将方阵映射为标量的函数

，记为

或

下面我们来讨论行列式的几何意义。

给出以下矩阵：

考虑这样的集和

,该集合是所有行向量

的线性组合组成的集合，而所有线性组合的系数均在0到1的区间。也就是说，集合S是在限制所有系数必须满足

条件下的的生成空间

数学表示如下：

矩阵行列式的绝对值，就是对集合S的面积（或体积）的测量。

行列式性质：

1. 单位矩阵的行列式为1。

2. 如果我们给一个矩阵的某一行乘以一个标量

，那么这个新矩阵的行列式是

3. 如果我们交换矩阵A的两行

和

，那么新矩阵的行列式是

根据以上三条性质还能够推出以下性质：

• 对于
• 对于
• 当且仅当A是奇异矩阵时，对于
• 对于
  且A是非奇异矩阵，有

在给出行列式的通用定义之前，我们首先定义，对于

表示删除了矩阵A中第i行和第j列得到的矩阵。有了这个定义我们正式定义行列式如下：

3.11 二次型和半正定矩阵

定义：给定一个方阵

和一个向量

，标量

被称作

二次型。

表达式：

由二次型的定义证明矩阵A是对称矩阵：

第一个等号因为二次型是标量，标量的转置等于自身，第二个等号是转置的计算，其实此时由

已经得到了

，所以A是对称矩阵。

我们继续给出如下定义：

• 如果对于所有非零向量
  ,都有
  ，那么对称矩阵
  称为
  正定矩阵，一般表示为
  或
  ，一般将所有正定矩阵的集合表示为
  。
• 如果对于所有向量
  ,都有
  ，那么对称矩阵
  称为
  半正定矩阵，一般表示为
  或
  ，一般将所有正定矩阵的集合表示为
  。
• 同样，如果对于所有非零向量
  ,都有
  ，那么对称矩阵
  称为
  负定矩阵，一般表示为
  或
  。
• 同样，如果对于所有向量
  ,都有
  ，那么对称矩阵
  称为
  半负定矩阵，一般表示为
  或
  。
• 最后，如果对称矩阵
  既不是半正定矩阵也不是半负定矩阵，则称为
  不定矩阵。

一个重要的性质是正定和负定矩阵必须是满秩矩阵。

格拉姆矩阵

给定任意矩阵

（不一定是对称矩阵或方阵）,矩阵

，称作格拉姆矩阵，总是半正定的。再进一步，如果

，并且我们假设A是满秩的，那么G是正定矩阵

3.12 特征值和特征向量

给定方阵

，如果满足下式，那么我们说

是A的特征值，

是A对应的特征向量。

一般我们说特征值对应的“特征向量”，指的是被归一化的那个向量。

我们可以将表达式重写为下面的形式，这种形式我们称

为A的一对“特征值-特征向量”。

只有当

是奇异矩阵时，上式有非零解。也就是:

现在，我们可以利用之前对行列式的定义，将其扩展为关于

的多项式，假设最高次项为n。我们可以解这个多项式，得到n个根，即n个特征值

。为了得到n个特征值对应的所有特征向量。我们只需要解

。注意，这只是我们的讨论，实际中出于计算复杂的原因，这并不是得到特征值和特征向量的方法。

性质:

• A的迹等于所有特征值的和
• A的行列式等于所有特征值的乘积
• A的秩等于A的非零特征值的数量
• 如果A是非奇异矩阵那么
  是
  的特征值，对应的特征向量是
  .
• 一个对角矩阵的奇异值就是对角元素。

我们可以联立写出所有特征向量的形式如下：

其中，

的所有列都是A的特征向量，而且

是一个对角矩阵，对角元素都是A的特征值。也就是：

如果A的特征向量都是线性无关的，那么矩阵

就是可逆的，所以

,能携程这种形式的矩阵被称为

可对角化的。

3.13 对称矩阵的特征值和特征向量

当我们研究一个对称矩阵

时，能够得到两个重要的性质。第一，A的所有特征值都是实数。第二，A的所有特征向量都是正交的。例如，假设上节中的矩阵X是一个正交矩阵（所以我们用U表示X），那么A可以表示为

，还记得吗，根据正交矩阵的性质，正交矩阵的逆等于其转置。

因此，一个矩阵的正定性完全取决于特征值的符号。假设

。那么：

其中

，因为U是满秩的，任何向量都可以表示成为这种形式。

因为

总是正的，所以这个式子的符号完全取决于

。如果所有特征值都是正的，那么矩阵是正定的。如果所有特征值都是大于等于0，那么矩阵是半正定的。小于零和小于等于零对应负定矩阵和半负定矩阵。有正有负则对应非定矩阵。

一个特征值和特征矩阵的常见应用是最大化一个矩阵的一些函数。实际中，对于一个矩阵

，考虑以下的最大化问题，

例如，我们想要找到使二次型

最大的向量x（x的范数为1）。假设特征值的大小顺序是

，那么最优的x就是

，对应的特征向量就是

,得到的最大值就是

OK，本篇到此，下一篇继续讨论关于矩阵微积分的内容。