深度学习-应用数学与机器学习基础-3

1、奇异值分解

矩阵分解除了分解成特征值和特征向量。还有一种分解矩阵的方法，被称为奇异值分解（singular value decomposition SVD）将矩阵分解为奇异向量和奇异值。通过奇异值分解，我们会得到一些与特征分解相同类型的信息。每个实数矩阵都有一个奇异值分解，但不一定有特征分解。
回想一下，我们使用特征分解去分析矩阵 A 时，得到特征向量构成的矩阵 V和特征值构成的向量 λ，我们可以重新将 A 写作

奇异值分解是类似的，只不过这回我们将矩阵 A 分解成三个矩阵的乘积：

假设 A 是一个 m×n 的矩阵，那么 U 是一个 m×m 的矩阵，D 是一个 m×n的矩阵，V 是一个 n × n 矩阵。

2、Moore-Penrose 伪逆

对于非方矩阵而言，其逆矩阵没有定义。假设在下面的问题中，我们希望通过矩阵 A 的左逆 B 来求解线性方程，
Ax=y
等式两边左乘左逆，我们得到
x=By
取决于问题的形式，我们可能无法设计一个唯一的映射将A映射到B。

如果矩阵 A 的行数大于列数，那么上述方程可能没有解。如果矩阵 A 的行数小于列数，那么上述矩阵可能有多个解。
Moore-Penrose 伪逆（Moore-Penrose pseudoinverse）使我们在这类问题上取得了一定的进展。矩阵 A 的伪逆定义为：

计算伪逆的实际算法没有基于这个定义，而是使用下面的公式：

其中，矩阵 U，D 和 V 是矩阵 A奇异值分解后得到的矩阵。对角矩阵 D 的伪逆D + 是其非零元素取倒数之后再转置得到的。
当矩阵 A 的列数多于行数时，使用伪逆求解线性方程是众多可能解法中的一种。特别地，x = A + y 是方程所有可行解中欧几里得范数 ∥x∥ 2 最小的一个。
当矩阵 A 的行数多于列数时，可能没有解。在这种情况下，通过伪逆得到的 x使得 Ax 和 y 的欧几里得距离 ∥Ax − y∥ 2 最小。

3、迹运算

迹运算的结果是矩阵对角线元素的和：

4、行列式

行列式，记作 det(A)，是一个将方阵 A 映射到实数的函数。行列式等于矩阵特征值的乘积。行列式的绝对值可以用来衡量矩阵参与矩阵乘法后空间扩大或者缩小了多少。如果行列式是 0，那么空间至少沿着某一维完全收缩了，使其失去了所有的体积。如果行列式是 1，那么这个转换保持空间体积不变。