2.3 单位矩阵和转置矩阵

声明：该文章翻译自MIT出版的《DEEP LEARNING》，博主会定期更新文章内容。由于博主能力有限，中间有过错之处希望大家给予批评指正，一起学习交流。

线性代数提供了一个强有力的工具 ——矩阵求逆，可以解决等式 $\boldsymbol{Ax}=\boldsymbol{b} 。$
为了描述矩阵逆，我们首先需要定义单位矩阵的概念。当我们用单位矩阵乘以其它矩阵时，它不改变矩阵的值。我们用$I_n$ 表示n维单位矩阵。正式地，

$$\forall\boldsymbol{x}\in R^n, \boldsymbol{ I_n}\boldsymbol{x}=\boldsymbol{x}.$$ 单位矩阵的结构很简单：沿着主对角线的元素都是1，而其它元素都是0。如下图：

$\boldsymbol{A}$ 的逆表示为 $\boldsymbol{A^{-1}}$ ，并且满足条件： $$\boldsymbol{A^{-1}A}=\boldsymbol{I_n}.$$ 现在我们可以通过下面的步骤解决等式2.1: $$\boldsymbol{Ax}=\boldsymbol{b}$$ $$\boldsymbol{A^{-1}Ax}=\boldsymbol{A^{-1}b}$$ $$\boldsymbol{I_nx}=\boldsymbol{A^{-1}b}$$ $$\boldsymbol{x}=\boldsymbol{A^{-1}b}$$ 当然，这依赖于 $\boldsymbol{A^{-1}}$。在下一节，我们将讨论 $\boldsymbol{A^{-1}}$ 存在的条件。
当 $\boldsymbol{A^{-1}}$ 存在时，有几种不同的算法可以在闭合式（closed form）中找到它。理论上，对于不同的 $\boldsymbol{b}$值，可以用同样的逆矩阵求解。然而， $\boldsymbol{A^{-1}}$ 作为理论工具有用，但实际中的许多软件应用不应该使用它。因为在数字计算机上 $\boldsymbol{A^{-1}}$ 只能表示有限的精度，而充分利用 $\boldsymbol{b}$值的算法通常可以得到 $\boldsymbol{x}$更精确的估计值。