深度学习-必备的数学知识-线性代数3

深度学习

必备的数学知识

线性代数

详解线性方程组

我们在深度学习-必备的数学知识-线性代数中讲解了线性方程组以及可以使用矩阵逆取求解线性方程组。在这篇文章中，我将为大家详细讲解线性方程组。
我们先研究$2\times 2$的线性方程组，即
$$\mathbf{Ax}=\mathbf{b}$$
中的$\mathbf{A}\in R^{2,2},\mathbf{b}\in R^2，\mathbf{x}\in R^2$.
将方程组展开可以得到
$$\begin{gathered} A_{1,1}{x}_1+A_{1,2}{x}_2=b_1 \\ {A}_{2,1}{x}_1+A_{2,2}{x}_2=b_2 \end{gathered}$$
大家是否觉得这两个方程有些眼熟？
是的，这两个方程就是二维平面上的两个直线方程。这两个方程的解 { x 1 , x 2 } \{x_1,x_2\} {x1​,x2​}分别是对应直线上的点的坐标。
所以这个方程组的解就是这两条直线的交点坐标。
我们知道直线之间只有三种关系：平行、相交、重合。所以线性方程组的解也只有三种可能:无解、一个解、无限个解。
我们可以将这个结论扩展到$m\times n$的线性方程组中，在m维空间中，一个线性方程组表示为一个超平面(hyperlane),线性方程组的解表示为这些超平面的交点。在二维空间中，一个超平面是一条直线；在三维空间中，一个超平面是一个平面；在四维及更高维度的空间中，超平面是一个 n-1 维的子空间。

从代数角度考虑，如果线性方程组存在两个解，那么我们就可以构造出无限个解.若$\mathbf{p}$和$\mathbf{q}$是线性方程组的两个解，则存在解
$$\forall a\in R,\mathbf{z}=a\mathbf{p}+(1-a)\mathbf{q}$$

大家可以将解带入原式求证。
现在让我们更细致的分析方程有多少个解。
在此之前我们需要先介绍一个概念：线性组合。
线性组合（linear combination）是一组向量和一组标量之间的代数运算，可以得到一个新的向量。给定一组向量${\mathbf{v}}_1,{\mathbf{v}}_n,...,{\mathbf{v}}_n$和一组标量${\mathbf{a}}_1,{\mathbf{a}}_2,...,{\mathbf{a}}_n$,线性组合可以定义为：
$$a_1{\mathbf{v}}_1+a_2{\mathbf{v}}_2+...+a_n{\mathbf{v}}_n$$
一组向量和任意标量生成的向量的集合称为生成子空间(span)。
我们来观察线性方程组
$$\mathbf{Ax}=\mathbf{b}$$
$\mathbf{A}$可以被看作是一组列向量组成，$\mathbf{x}$可以被看作是一组标量组成。它们的结果$\mathbf{b}$是一个向量，所以$\mathbf{Ax}$就是线性组合。
$$\mathbf{Ax}=\sum _i{A}_{:,i}{x}_i$$

所以如果$\mathbf{b}$存在于$\mathbf{A}$的生成子空间中，那么$\mathbf{Ax}=\mathbf{b}$一定存在解。$\mathbf{A}$的生成子空间称为$\mathbf{A}$的列空间(column space)或$\mathbf{A}$的值域(range)。
若使方程$\mathbf{Ax}=\mathbf{b}$对任意$\mathbf{b}\in R^m$成立，需要$\mathbf{A}$的列空间覆盖整个$R^m$ 。
$\mathbf{A}$的列空间覆盖整个$R^m$意味着 $\mathbf{A}$至少有m列。这是因为一组向量线性组合的生成子空间的维度取决于这组向量的向量数量。换句话说，生成子空间的维度通常被描述为生成该子空间的最小向量集合大小。
如果$\mathbf{A}$的列数小于m，那么$R^m$中就会存在某个向量不在$\mathbf{A}$的列空间中，那么该向量对应的$\mathbf{b}$会使该方程无解。例如:一个矩阵$\mathbf{B}\in R^{3\times 2}$的，它的列空间只能覆盖$R^2$。无论$\mathbf{x}$取何值，也只能表示$R^3$空间中的二维平面。此时只有当$\mathbf{b}$在该二维平面时，才有解。

对于$\mathbf{A}\in R^{m\times n}$，$n\ge m$ 只是$\mathbf{Ax}=\mathbf{b}$有解的必要不充分条件。因为$\mathbf{A}$可能存在冗余的列向量，也就是存在某个列向量可以由另它列向量的线性组合表示。例如:对于$\mathbf{B}\in R^{2,2}$，如果${\mathbf{B}}_{:,1}={\mathbf{B}}_{:,2}$。那么$\mathbf{B}$的列空间和它的一个列向量构成的矩阵的列空间是一样的。
这很好理解，线性组合的定义是$a_1{\mathbf{v}}_1+a_2{\mathbf{v}}_2+...+a_n{\mathbf{v}}_n$。那么矩阵$\mathbf{B}$的列空间就是 $a_1{\mathbf{B}}_{:,1}+a_2{\mathbf{B}}_{:,2}$。但是因为${\mathbf{B}}_{:,1}={\mathbf{B}}_{:,2}$，所以
$$a_1{\mathbf{B}}_{:,1}+a_2{\mathbf{B}}_{:,2}=(a_1+a_2){\mathbf{B}}_{:,1}$$
而$a_1+a_2$可以由另一个实数表示，所以它们的生成子空间是相同的。
如果一组向量中的某个向量可以由其他向量的线性组合表示，我们则称这组向量是线性相关(linear dependence)。
如果一组向量中任意一个向量都不能由其他向量的线性组合表示则称为线性无关（linearly independent）。
如果向一组向量中插入一个线性相关的向量，并不会增加这组向量的生成子空间。而上文中的这句话："这是因为一组向量的线性组合的生成子空间的维度取决于这组向量的向量数量"是不严谨的，更为严谨的说法是：这是因为一组向量的线性组合的生成子空间的维度取决于这组向量的线性无关的向量的数量。
这意味着，如果$\mathbf{Ax}=\mathbf{b}$至少存在一个解，则$\mathbf{A}$至少包含一组m个线性无关的向量。这是$\mathbf{Ax}=\mathbf{b}$对于每一个向量$\mathbf{b}$的取值都有解的充分必要条件。那什么时候只有一个解？什么时候有无限个解呢？这取决于线性无关向量的数量.对于$\mathbf{A}\in R^{m\times n}$；若$m=n$,且所有列向量都是线性无关的，则只有一个解；若$m<n$,且$\mathbf{A}$中多于m个线性无关向量，则有无限个解。
$\mathbf{A}$包含m个线性无关向量，则在m维列空间中，对m个列向量线性生成得到的每一个m维向量都是唯一的。所以对于特定的$\mathbf{b}$只存在唯一个$\mathbf{x}$使得$\mathbf{Ax}=\mathbf{b}$。 其中$\mathbf{A}\in R^{m\times n}$,$\mathbf{b}\in R^m$，$\mathbf{x}\in R^n$

$\mathbf{A}$中多于m个线性无关向量，这意味着它的生成子空间的维度一定大于m；而一个生成子空间中会包含无数个维度小于当前空间维度的子空间;那么对于特定的 $\mathbf{b}$，存在多个 $\mathbf{x}$ 使得 $\mathbf{Ax}=\mathbf{b}$。其中$\mathbf{A}\in R^{m\times n}$,$\mathbf{b}\in R^m$，$\mathbf{x}\in R^n$。
我们回顾矩阵逆求解方程组的方法
$$\mathbf{x}={\mathbf{A}}^{-1}\mathbf{b}$$
因为${\mathbf{A}}^{-1}$和$\mathbf{b}$都是已知的，所以方程只有一个解$\mathbf{x}$。这意味着，一个矩阵它的矩阵逆存在的充要条件是，这个矩阵是方阵（即行数和列数相同），并且所有列向量都是线性无关的。一个方阵的一个列向量是线性相关的，则称为奇异的(singular)。
矩阵逆的右乘定义为：
$$\mathbf{A}{\mathbf{A}}^{-1}=\mathbf{I}$$
对于一个方阵 $\mathbf{A}$ 和它的逆矩阵 ${\mathbf{A}}^{-1}$，无论是左乘还是右乘，都有 $\mathbf{A}{\mathbf{A}}^{-1}={\mathbf{A}}^{-1}\mathbf{A}=\mathbf{I}$，其中 $\mathbf{I}$ 是单位矩阵。
如有问题，恳请指正