机器学习中的数学——单位矩阵和逆矩阵

分类目录：《算法设计与分析》总目录

---

线性代数提供了被称为矩阵逆的强大工具。对于大多数矩阵A，我们都能通过矩阵逆解析地求解方程组：
$$Ax=b$$

为了描述矩阵逆，我们首先需要定义单位矩阵的概念。任意向量和单位矩阵相乘，都不会改变。我们将保持$n$维向量不变的单位矩阵记作$I_n$形式上，$I_N\in R^{n\times n}$：
$$\forall x\in R:I_{n}x=x$$

单位矩阵的结构很简单：所有沿主对角线的元素都是1，而所有其他位置的元素都是0：
$$\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$$

矩阵$A$的矩阵逆记作$A^{-1}$，其定义的矩阵满足如下条件：
$$A{A}^{-1}=I_n$$

所以对于方程组$Ax=b$我们可以得到$x$的解析解：
$$\begin{array}{rl}& Ax=b\\ \Rightarrow & A^{-1}Ax=A^{-1}b\\ \Rightarrow & I_{n}x=A^{-1}b\\ \Rightarrow & x=A^{-1}b\end{array}$$

当然，这取决于我们能否找到一个逆矩阵$A^{-1}$。在后续的文章中，我们会讨论逆矩阵$A^{-1}$存在的条件。当逆矩阵$A^{-1}$存在时，有几种不同的算法都能找到它的闭解形式。理论上，相同的逆矩阵可用于多次求解不同向量$b$的方程。然而，逆矩阵$A^{-1}$主要是作为理论工具使用的，并不会在大多数软件应用程序中实际使用。这是因为逆矩阵$A^{-1}$在数字计算机上只能表现出有限的精度，有效使用向量$b$的算法通常可以得到更精确的$x$。