数学基础 | (4) cs229线性代数基础

目录

1. 基本概念和符号

2. 矩阵乘法

3. 运算和属性

4. 矩阵微分

---

1. 基本概念和符号

线性代数提供了一种紧凑地表示和操作线性方程组的方法。例如，以下方程组：

这是两个方程和两个变量，正如你从高中代数中所知，你可以找到和的唯一解（除非方程以某种方式退化，例如，如果第二个方程只是第一个的倍数，但在上面的情况下，实际上只有一个唯一解）。在矩阵表示法中，我们可以更紧凑地表达： 

我们可以看到，这种形式的线性方程有许多优点（比如明显地节省空间）.

• 基本符号

我们使用以下符号：

在许多情况下，将矩阵视为列向量或行向量的集合非常重要且方便。 通常，在向量而不是标量上操作在数学上（和概念上）更清晰。只要明确定义了符号，用于矩阵的列或行的表示方式并没有通用约定。

 

2. 矩阵乘法

• 向量-向量乘法

• 矩阵-向量乘法

• 矩阵-矩阵乘法

有了这些知识，我们现在可以看看四种不同的（形式不同，但结果是相同的）矩阵-矩阵乘法：也就是本节开头所定义的的乘法。

矩阵C的第i列可以由矩阵A和矩阵B的第i列通过矩阵-向量乘积运算得到： 

同理，矩阵C的第i行可以由矩阵A的第i行和矩阵B通过矩阵-向量乘积运算得到：

运算律：

 

3. 运算和属性

• 单位矩阵和对角矩阵

• 转置

• 对称矩阵

• 矩阵的迹

• 范数

• 线性相关性和秩

 

• 方阵的逆

请注意，并非所有矩阵都具有逆。例如，非方形矩阵根据没有逆的定义。然而，对于一些方形矩阵A，可能仍然有不存在逆矩阵的情况。特别是，如果存在，我们说方阵A是可逆的或非奇异的，否则就是不可逆或奇异的。为了使方阵 A 具有逆，则A必须是满秩。我们很快就会发现，除了满秩之外，还有许多其它的充分必要条件。以下是逆的属性; 假设,而且是非奇异的： 

• 正交阵

如果两个向量,,那么两个向量是正交的。如果,则向量被归一化。

如果一个方阵的所有列彼此正交并被归一化，则方阵U是正交阵:

换句话说，正交矩阵的逆是其转置。

注意，如果U不是方阵 :即，， ，但其列仍然是正交的，则，但是。 我们通常只用正交来描述U是方阵的情况。

正交矩阵的一个好的特性是一个向量和正交矩阵运算不改变它的模长(l2范数)：

对于任意是正交矩阵。 

• 矩阵的值域和0空间

 

• 行列式

 

 

行列式可以按行或列展开： 

 

• 二次型和半正定矩阵

 

• 特征值和特征向量

 

• 对称矩阵的特征值和特征向量

通常情况下，一般的方阵的特征值和特征向量的结构可以很细微地表示出来。值得庆幸的是，在机器学习的大多数场景下，处理对称实矩阵就足够了，其处理的对称实矩阵的特征值和特征向量具有显着的特性。

我们假设是A实对称矩阵, 具有以下属性：

1. A的所有特征值都是实数。我们用表示。

2. 存在一组特征向量,其中为对应的特征向量，是单位向量且彼此正交。

 

 

4. 矩阵微分

矩阵求导