【机器学习的数学基础】（三）线性代数(Linear Algebra)（下）

2 线性代数(Linear Algebra)（下）

2.7 线性映射

下面，我们将研究向量空间上结构不变的映射，这将允许我们定义坐标的概念。之前我们说过向量相加并乘以标量得到的对象仍然是一个向量。这里我们希望在应用映射时保留此特性：

考虑两个实数向量空间$V，W$。对于$\mathbf{x},\mathbf{y}\in V$和$\lambda \in \mathbb{R}$，映射$\Phi :V\to W$保持向量空间结构不变需满足:
$$\Phi (\mathbf{x}+\mathbf{y})=\Phi (\mathbf{x})+\Phi (\mathbf{y})$$
$$\Phi (\lambda \mathbf{x})=\lambda \Phi (\mathbf{x})$$

我们可以用以下定义来概括：

定义 2.15线性映射

对于向量空间$V，W$，如果
$$\forall \mathbf{x},\mathbf{y}\in V\forall \lambda ,\psi \in \mathbb{R}:\Phi (\lambda \mathbf{x}+\psi \mathbf{y})=\lambda \Phi (\mathbf{x})+\psi \Phi (\mathbf{y})$$
则称$\Phi :V\to W$为线性映射（Linear Mapping） 或向量空间同态（vector space homomorphism） 或线性变换linear transformation）

这使得我们可以把线性映射用矩阵(2.7.1节)表示。回想一下前面的内容：我们将向量集合用矩阵的列表示。在处理矩阵时，我们必须判断矩阵所表示的内容：是线性映射还是向量集合。我们将在第四章中看到更多关于线性映射的内容。在此之前，我们将简要介绍一些特殊映射。

定义 2.16单射的 ，满射的，双射的

考虑映射$\Phi ：\mathcal{V}\to \mathcal{W}$，，其中$V$，$W$是任意集合。那么$\Phi$可以是：

• 单射的(Injective)：$\forall \mathbf{x},\mathbf{y}\in \mathcal{V}:\Phi (\mathbf{x})=\Phi (\mathbf{y})⟹\mathbf{x}=\mathbf{y}$
• 满射的( Surjective)：$\Phi (\mathcal{V})=\mathcal{W}$
• 双射的(Bijective)：即是单射的也是满射的

如果$\Phi$是满射的，那么$\mathcal{W}$中的每个元素都可以通过$\Phi$从$\mathcal{V}$“到达”，单射意味着映射结果相同的元素为同一元素。双射既是单射的也是满射的，所以一个双射映射$\Phi$可以“撤消”（双射意味着两个空间的个体是一一对应的，所以可以”撤销“；而非双射这种多对一的情况，"撤销"后的对象是不唯一，不确定是哪一个，所以无法撤销。），即存在一个映射$\Psi ：\mathcal{W}\to \mathcal{V}$，使得$\Psi \circ \Phi (\mathbf{x})=\mathbf{x}$。映射$\Psi$被称为$\Phi$的逆，通常用${\Phi }^{-1}$表示

在这些定义下，我们介绍一些向量空间$V$和$W$之间线性映射的特殊情况：

• 同态(Homomorphism):$\Phi :V\to W$ 线性
• 同构(Isomorphism):$\Phi :V\to W$ 线性双射
• 自同态(Endomorphism):$\Phi :V\to V$ 线性
• 自同构(Automorphism):$\Phi :V\to V$ 线性双射
• 我们定义${\mathrm{i}\mathrm{d}}_V:V\to V,\mathbf{x}\mapsto \mathbf{x}$为$V$中的恒等映射或单位自同构( identity mapping or identity automorphism)。

例 2.19 同态

$\Phi :{\mathbb{R}}^2\to \mathbb{C},\Phi (\mathbf{x})=x_1+i{x}_2$是同态映射。
$$\begin{array}{rl}\Phi \left(\left[\begin{array}{l}{x}_1\\ x_2\end{array}\right]+\left[\begin{array}{l}{y}_1\\ y_2\end{array}\right]\right)& =\left(x_1+y_1\right)+i\left(x_2+y_2\right)=x_1+i{x}_2+y_1+i{y}_2\\ & =\Phi \left(\left[\begin{array}{l}{x}_1\\ x_2\end{array}\right]\right)+\Phi \left(\left[\begin{array}{l}{y}_1\\ y_2\end{array}\right]\right)\end{array}$$
$$\Phi \left(\lambda \left[\begin{array}{l}{x}_1\\ x_2\end{array}\right]\right)=\lambda x_1+\lambda i{x}_2=\lambda \left(x_1+i{x}_2\right)=\lambda \Phi \left(\left[\begin{array}{l}{x}_1\\ x_2\end{array}\right]\right)$$
这也证明了为什么复数可以在${\mathbb{R}}^2$中表示为元组：有一个双射线性映射，它将${\mathbb{R}}^2$中元组的元素加法转换为具有相应加法的复数集。注意，这里我们只展示了线性，而没有双射。

定理 2.17：

有限维向量空间$V$和$W$同构当且仅当$\dim (V)=\dim (W)$

定理2.17指出在两个相同维度的向量空间之间存在一个线性的双射映射。直觉上，这意味着相同维度的向量空间是相同的，就像它们可以相互转化而不产生任何误差。

定理2.17也给出了之前将${\mathbb{R}}^{m\times n}$（$m\times n$-矩阵张成的向量空间）和${\mathbb{R}}^{mn}$（$mn$的向量张成的向量空间）视为相同的理由：因为它们的维数都是$mn$，所以存在一个线性的双射映射，将他们们相互转换。（注意向量空间的维数，由向量张成的向量空间的维数，以及由矩阵张成的向量空间的维数的区别）

备注：

考虑向量空间$V,W,X$：

• 对于线性映射$\Phi :V\to W$和$\Psi :W\to X$，那么$\Psi \circ \Phi :V\to X$也是线性映射。
• 如果$\Phi :V\to W$同构，那么${\Phi }^{-1}:W\to V$也同构。
• 如果$\Phi :V\to W,\Psi :V\to W$都是线性的(同态的)，那么$\Phi +\Psi$和$\lambda \Phi ,\lambda \in \mathbb{R}$也是线性的(同态的)。

2.7.1 线性映射的矩阵表示

任何$n$维向量空间同构于${\mathbb{R}}^n$（定理2.17）。我们考虑$n$维向量空间$V$的一个基 { b 1 , … , b n } \left\{\boldsymbol{b}_{1}, \ldots, \boldsymbol{b}_{n}\right\} {b1​,…,bn​}。在下文中，基向量的顺序将是很重要的，我们对集进行排序，得到：
$$B=\left({\mathbf{b}}_1,\dots ,{\mathbf{b}}_n\right)$$
并称这个$n$元组为$V$的有序基(ordered basis)

备注：基需是有序的，我们所谓的”第一个坐标“，”第二个坐标“……才有意义。

备注：(符号)

目前为止定义的符号有点多，容易混淆，所以在这里，我们总结一下：$B=\left({\mathbf{b}}_1,\dots ,{\mathbf{b}}_n\right)$为有序基； B = { b 1 , … , b n } \mathcal{B}=\left\{\boldsymbol{b}_{1}, \ldots, \boldsymbol{b}_{n}\right\} B={b1​,…,bn​}是（无序的）基；$\mathbf{B}=\left[{\mathbf{b}}_1,\dots ,{\mathbf{b}}_n\right]$是列为${\mathbf{b}}_1,\dots ,{\mathbf{b}}_n$的矩阵。

定义 2.18 坐标

考虑一个向量空间$V$以及一个$V$的有序基$B=\left({\mathbf{b}}_1,\dots ,{\mathbf{b}}_n\right)$。对于任意$\mathbf{x}\in V$，有唯一一个关于$B$的表示（线性组合）
$$\mathbf{x}={\alpha }_1{\mathbf{b}}_1+\dots +{\alpha }_n{\mathbf{b}}_n$$
${\alpha }_1,\dots ,{\alpha }_n$称为$\mathbf{x}$关于$B$的坐标(coordinates)。
$$\mathbf{\alpha }=\left[\begin{array}{c}{\alpha }_1\\ ⋮\\ {\alpha }_n\end{array}\right]\in {\mathbb{R}}^n$$

为$\mathbf{x}$相对于有序基$B$坐标向量/坐标表示(coordinate vector/coordinate representation )

一个基有效地定义了一个坐标系。我们熟悉的二维笛卡尔坐标系，它由标准基向量${\mathbf{e}}_1,{\mathbf{e}}_2$构成。在这个坐标系中，向量$\mathbf{x}\in {\mathbb{R}}^2$都可以表示为${\mathbf{e}}_1$和${\mathbf{e}}_2$线性组合。然而，${\mathbb{R}}^2$的任何基都定义了一个有效的坐标系，同一个向量$\mathbf{x}$在$\left({\mathbf{b}}_1,{\mathbf{b}}_2\right)$基中可能会与${\mathbf{e}}_1,{\mathbf{e}}_2$不同的坐标表示。

图2.8 两个不同的坐标系由两组基向量定义。向量$\mathbf{x}$有不同的坐标表示，这取决于所选择的坐标系。

在图2.8中，$\mathbf{x}$相对于标准基$({\mathbf{e}}_1,{\mathbf{e}}_2)$的坐标为$[2,2{]}^{\top }$。然而，关于基$\left({\mathbf{b}}_1,{\mathbf{b}}_2\right)$，相同的向量$\mathbf{x}$被表示为$[1.09,0.72{]}^{\top }$，即$\mathbf{x}=1.09{\mathbf{b}}_1+0.72{\mathbf{b}}_2$。在下文中，我们将了解如何获得这种表示。

例 2.20

几何向量$\mathbf{x}\in {\mathbb{R}}^2$相对于${\mathbb{R}}^2$的标准基$({\mathbf{e}}_1,{\mathbf{e}}_2)$的坐标为$[2,3{]}^{\top }$。这意味着，我们可以将其表示为：$\mathbf{x}=2{\mathbf{e}}_1+3{\mathbf{e}}_2$。但是，我们不一定要选择标准基来表示这个向量。我们可以选${\mathbf{b}}_1=[1,-1{]}^{\top },{\mathbf{b}}_2=[1,1{]}^{\top }$为基向量，这可以得到$\mathbf{x}$相对它们的坐标：$\frac{1}{2}[-1,5{]}^{\top }$(见图2.9)

图2.9 $\mathbf{x}$的不同坐标表示，取决于所选的基。

备注：

对于一个$n$维向量空间$V$和$V$的一个有序基$B$，映射$\Phi :{\mathbb{R}}^n\to V,\Phi \left(e_i\right)=b_i,i=1,\dots ,n$是线性的(维度相同，所以是进一步是同构的)，其中$\left(e_1,\dots ,e_n\right)$是关于${\mathbb{R}}^n$的标准基。

现在我们准备在矩阵和有限维向量空间之间的线性映射之间建立一个显式联系。

定义 2.19 变换矩阵

考虑向量空间$V，W$以及相应的(有序)基$B=\left({\mathbf{b}}_1,\dots ,{\mathbf{b}}_n\right)$和$C=\left({\mathbf{c}}_1,\dots ,{\mathbf{c}}_m\right)$。再考虑线性映射$\Phi :V\to W$ ：
$$\Phi \left({\mathbf{b}}_1\right)={\alpha }_{11}{\mathbf{c}}_1+{\alpha }_{21}{\mathbf{c}}_2+\cdots +{\alpha }_{m1}{\mathbf{c}}_m=\sum _{i=1}^m{\alpha }_{i1}{\mathbf{c}}_i$$
$$...$$
$$\Phi \left({\mathbf{b}}_j\right)={\alpha }_{1j}{\mathbf{c}}_1+{\alpha }_{2j}{\mathbf{c}}_2+\cdots +{\alpha }_{mj}{\mathbf{c}}_m=\sum _{i=1}^m{\alpha }_{ij}{\mathbf{c}}_i$$
$$...$$
$$\Phi \left({\mathbf{b}}_n\right)={\alpha }_{1n}{\mathbf{c}}_1+{\alpha }_{2n}{\mathbf{c}}_2+\cdots +{\alpha }_{mn}{\mathbf{c}}_m=\sum _{i=1}^m{\alpha }_{in}{\mathbf{c}}_i$$
$\Phi \left({\mathbf{b}}_j\right)$表示${\mathbf{b}}_j$经过变换后相对于$C$的唯一坐标表示，然后我们得到
$${\mathbf{A}}_{\Phi }=\left[\begin{array}{cccc}{\alpha }_{11}& {\alpha }_{12}& \dots & {\alpha }_{\ln }\\ {\alpha }_{21}& {\alpha }_{22}& \dots & {\alpha }_{2n}\\ ⋮& ⋮& & ⋮\\ {\alpha }_{m1}& {\alpha }_{m2}& \dots & {\alpha }_{mn}\end{array}\right]$$
$${\mathbf{A}}_{\Phi }(i,j)={\alpha }_{ij}$$
我们称$m\times n$矩阵${\mathbf{A}}_{\Phi }$为$\Phi$(关于$V$的有序基$B$和$W$的有序基$C$)的变换矩阵(transformation matrix)。

$\Phi \left({\mathbf{b}}_j\right)$相对于$W$的有序基$C$的坐标是${\mathbf{A}}_{\Phi }$的第$j$列。

考虑(有限维)向量空间$V，W$及其对应的有序基$B，C$和变换矩阵为${\mathbf{A}}_{\Phi }$的线性映射$\Phi :V\to W$。如果$\hat{\mathbf{x}}$是$\mathbf{x}\in V$相对于$B$的坐标向量。$\hat{\mathbf{y}}$是$\mathbf{y}=\Phi (\mathbf{x})\in W$相对于$C$的坐标向量，则：
$$\hat{\mathbf{y}}={\mathbf{A}}_{\Phi }\hat{\mathbf{x}}$$

这意味着可以使用变换矩阵将相对于$V$的有序基的坐标映射到相对于$W$中有序基的坐标。

例 2.21变换矩阵

考虑同态映射$\Phi :V\to W$以及$V$的有序基$B=\left({\mathbf{b}}_1,\dots ,{\mathbf{b}}_3\right)$以及$W$的有序基$C=\left({\mathbf{c}}_1,\dots ,{\mathbf{c}}_4\right)$，并有：
$$\begin{array}{l}\Phi \left({\mathbf{b}}_1\right)={\mathbf{c}}_1-{\mathbf{c}}_2+3{\mathbf{c}}_3-{\mathbf{c}}_4\\ \Phi \left({\mathbf{b}}_2\right)=2{\mathbf{c}}_1+{\mathbf{c}}_2+7{\mathbf{c}}_3+2{\mathbf{c}}_4\\ \Phi \left({\mathbf{b}}_3\right)=3{\mathbf{c}}_2+{\mathbf{c}}_3+4{\mathbf{c}}_4\end{array}$$

可得关于$B$和$C$满足$\Phi \left({\mathbf{b}}_k\right)={\sum }_{i=1}^4{\alpha }_{ik}{\mathbf{c}}_i，k=1,\dots ,3$的变换矩阵${\mathbf{A}}_{\Phi }$为：
$${\mathbf{A}}_{\Phi }=\left[{\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,{\mathbf{\alpha }}_3\right]=\left[\begin{array}{ccc}1& 2& 0\\ -1& 1& 3\\ 3& 7& 1\\ -1& 2& 4\end{array}\right]$$

其中${\mathbf{\alpha }}_j,j=1,2,3$为$\Phi \left({\mathbf{b}}_j\right)$相对于$C$的坐标向量

例 2.22向量的线性变换

图2.10 向量线性变换的三个例子：(a)初始数据;(b)旋转45°;(c )水平坐标拉伸2;(d)反射、旋转和拉伸的组合。

我们考虑${\mathbb{R}}^2$中的一组向量的三个线性变换及其变换矩阵
$${\mathbf{A}}_1=\left[\begin{array}{cc}\cos \left(\frac{\pi }{4}\right)& -\sin \left(\frac{\pi }{4}\right)\\ \sin \left(\frac{\pi }{4}\right)& \cos \left(\frac{\pi }{4}\right)\end{array}\right],{\mathbf{A}}_2=\left[\begin{array}{ll}2& 0\\ 0& 1\end{array}\right],{\mathbf{A}}_3=\frac{1}{2}\left[\begin{array}{ll}3& -1\\ 1& -1\end{array}\right]$$

图2.10给出了一组向量线性变换的三个例子。图（a）显示了${\mathbb{R}}^2$中的400个向量，每个向量对应$(x_1,x_2)$-坐标的一个点。向量排列成正方形。当我们使用矩阵${\mathbf{A}}_1$对这些向量进行线性变换时，我们得到了（b）中的被旋转的正方形。如果我们应用${\mathbf{A}}_2$表示的线性映射，我们得到（c）中的矩形，其中每个$x_1$-坐标被拉伸2倍。（d）显示了对原始图形使用${\mathbf{A}}_3$线性变换后的图形，${\mathbf{A}}_3$是反射、旋转和拉伸的组合。

2.7.2 基变换

接下来，我们来看一看当我们改变$V$和$W$的基时，线性映射$\Phi :V\to W$的变换矩阵是怎样变化的。
考虑$V$两个有序基：
$$B=\left({\mathbf{b}}_1,\dots ,{\mathbf{b}}_n\right),\tilde{B}=\left({\tilde{\mathbf{b}}}_1,\dots ,{\tilde{\mathbf{b}}}_n\right)$$
和$W$的两个有序基：
$$C=\left({\mathbf{c}}_1,\dots ,{\mathbf{c}}_m\right),\tilde{C}=\left({\tilde{\mathbf{c}}}_1,\dots ,{\tilde{\mathbf{c}}}_m\right)$$
另外，${\mathbf{A}}_{\Phi }\in {\mathbb{R}}^{m\times n}$是关于基$B$和$C$的映射$\Phi :V\to W$的变换矩阵。${\tilde{\mathbf{A}}}_{\Phi }\in {\mathbb{R}}^{m\times n}$则是关于$\tilde{B}$和$\tilde{C}$相应的变换矩阵。下面我们将研究$\mathbf{A}$和$\tilde{\mathbf{A}}$是什么关系，即：如果我们选择从基$B$，$C$到基$\tilde{B}$，$\tilde{C}$进行基变换，我们是否可以/如何将${\mathbf{A}}_{\Phi }$变换为${\tilde{\mathbf{A}}}_{\Phi }$

备注：

向量$\mathbf{x}$的坐标表示，取决于基的选择。在图2.9中我们经过恒等映射${\mathrm{i}\mathrm{d}}_V$得到向量的不同坐标表示。这意味着在不改变向量$\mathbf{x}$的情况下，将它相对于$\left({\mathbf{e}}_1,{\mathbf{e}}_2\right)$的坐标映射到相对于$\left({\mathbf{b}}_1,{\mathbf{b}}_2\right)$的坐标上。通过改变基从而改变向量的的表示，这允许通过一个简单的变换矩阵直接计算实现。

例子 23 基变换的必要性

考虑一个关于${\mathbb{R}}^2$标准基的变换矩阵
$$\mathbf{A}=\left[\begin{array}{ll}2& 1\\ 1& 2\end{array}\right]$$
如果我们定义一个新基：
$$B=\left(\left[\begin{array}{l}1\\ 1\end{array}\right],\left[\begin{array}{c}1\\ -1\end{array}\right]\right)$$

则我们可以得到一个关于$B$的对角变换矩阵
$$\tilde{\mathbf{A}}=\left[\begin{array}{ll}3& 0\\ 0& 1\end{array}\right]$$
它比$\mathbf{A}$更容易处理。

在下面，我们将研究将一个基的坐标向量转换为另一个基的坐标向量的映射。我们将首先陈述主要结论，然后给出解释。

定理 2.20基变换

对于线性映射$\Phi :V\to W$，$V$的有序基
$$B=\left({\mathbf{b}}_1,\dots ,{\mathbf{b}}_n\right),\tilde{B}=\left({\tilde{\mathbf{b}}}_1,\dots ,{\tilde{\mathbf{b}}}_n\right)$$
和$W$的有序基：
$$C=\left({\mathbf{c}}_1,\dots ,{\mathbf{c}}_m\right),\tilde{C}=\left({\tilde{\mathbf{c}}}_1,\dots ,{\tilde{\mathbf{c}}}_m\right)$$
以及${\mathbf{A}}_{\Phi }\in {\mathbb{R}}^{m\times n}$是关于$B$和$C$的映射$\Phi :V\to W$的变换矩阵。${\tilde{\mathbf{A}}}_{\Phi }\in {\mathbb{R}}^{m\times n}$是关于$\tilde{B}$和$\tilde{C}$相应的变换矩阵，它由以下公式给出：
$${\tilde{\mathbf{A}}}_{\Phi }={\mathbf{T}}^{-1}{\mathbf{A}}_{\Phi }\mathbf{S}$$
其中，$\mathbf{S}\in {\mathbb{R}}^{n\times n}$为${\mathrm{i}\mathrm{d}}_V$的变换矩阵，它将相对于$\tilde{B}$的坐标映射到$B$。而$\mathbf{T}\in {\mathbb{R}}^{m\times m}$为${\mathrm{i}\mathrm{d}}_W$的变换矩阵，它将相对于$\tilde{C}$的坐标映射到$C$。

证明：
把$V$的新基$\tilde{B}$的向量写成$B$的基向量的线性组合：
$${\tilde{\mathbf{b}}}_j=s_{1j}{\mathbf{b}}_1+\cdots +s_{nj}{\mathbf{b}}_n=\sum _{i=1}^n{s}_{ij}{\mathbf{b}}_i,j=1,\dots ,n((2.106))$$

类似地，把$W$的新基$\tilde{C}$的向量写成$C$的基向量的线性组合：
$${\tilde{\mathbf{c}}}_k=t_{1k}{\mathbf{c}}_1+\cdots +t_{mk}{\mathbf{c}}_m=\sum _{l=1}^m{t}_{lk}{\mathbf{c}}_l,k=1,\dots ,m(2.107)$$

我们定义$\mathbf{S}=\left(\left(s_{ij}\right)\right)\in {\mathbb{R}}^{n\times n}$为将相对于$\tilde{B}$的坐标映射到$B$的变换矩阵。而$\mathbf{T}=\left(\left(t_{lk}\right)\right)\in {\mathbb{R}}^{m\times m}$为将相对于$\tilde{C}$的坐标映射到$C$的变换矩阵。

特别地，$\mathbf{S}$的第$j$列是${\tilde{\mathbf{b}}}_j$相对于$B$的坐标而$\mathbf{T}$的第$k$列是${\tilde{\mathbf{c}}}_j$相对于$C$的坐标表示。注意$S$和$T$都是正则的(可逆的)。

我们将从两角度来看$\Phi \left({\tilde{\mathbf{b}}}_j\right)$

第一，通过映射$\Phi$，对于$j=1,\dots ,n$，我们可以得到：
$$\Phi \left({\tilde{\mathbf{b}}}_j\right)=\sum _{k=1}^m\underset{\in W}{\underbrace{{\tilde{a}}_{kj}{\tilde{\mathbf{c}}}_k}}\stackrel{(2.107)}{=}\sum _{k=1}^m{\tilde{a}}_{kj}\sum _{l=1}^m{t}_{lk}{\mathbf{c}}_l=\sum _{l=1}^m\left(\sum _{k=1}^m{t}_{lk}{\tilde{a}}_{kj}\right){\mathbf{c}}_l(2.108)$$

我们首先将新的基向量${\tilde{\mathbf{c}}}_k\in W$表示为基向量${\mathbf{c}}_k\in W$的线性组合，然后交换求和顺序。

或者，利用了$\Phi$的线性，把${\tilde{\mathbf{b}}}_j\in V$表示为${\mathbf{b}}_j\in V$的线性组合时，可以得到

$$\Phi \left({\tilde{b}}_j\right)\stackrel{(2.106)}{=}\Phi \left(\sum _{i=1}^n{s}_{ij}{b}_i\right)=\sum _{i=1}^n{s}_{ij}\Phi \left({\mathbf{b}}_i\right)=\sum _{i=1}^n{s}_{ij}\sum _{l=1}^m{a}_{li}{\mathbf{c}}_l$$
$$=\sum _{l=1}^m\left(\sum _{i=1}^n{a}_{li}{s}_{ij}\right){\mathbf{c}}_l,j=1,\dots ,n(2.109b)$$
比较(2.108)和(2.109b)的两个式子，得出对于所有$j=1,\dots ,n$和$l=1,\dots ,m$，有：
$$\sum _{k=1}^m{t}_{lk}{\tilde{a}}_{kj}=\sum _{i=1}^n{a}_{li}{s}_{ij}$$

所以
$$\mathbf{T}{\tilde{\mathbf{A}}}_{\Phi }={\mathbf{A}}_{\Phi }\mathbf{S}\in {\mathbb{R}}^{m\times n}$$
则：
$${\tilde{\mathbf{A}}}_{\Phi }={\mathbf{T}}^{-1}{\mathbf{A}}_{\Phi }\mathbf{S}$$

证毕。

定理2.20告诉我们，对于$V$（$B$变换为$\tilde{B}$）和$W$（$C$变换为$\tilde{C}$）的基变换，线性映射$\Phi ：V\to W$的变换矩阵${\mathbf{A}}_{\Phi }$与等价矩阵$\widetilde{{\mathbf{A}}_{\Phi }}$替换关系为：
$${\tilde{\mathbf{A}}}_{\Phi }={\mathbf{T}}^{-1}{\mathbf{A}}_{\Phi }\mathbf{S}$$

图2.11对于一个同态映射$\Phi ：V\to W$和$V$的有序基$B,\tilde{B}$以及$W$的有序基$C,\tilde{C}$（用蓝色标记），我们可以把相对于$\tilde{B},\tilde{C}$的映射${\Phi }_{\tilde{C}\tilde{B}}$等价地表示为同态映射的组合${\Phi }_{\tilde{C}\tilde{B}}={\Xi }_{\tilde{C}C}\circ {\Phi }_{CB}\circ {\Psi }_{B\tilde{B}}$，其中各个符号的下标为该符号对应的基变换对象。相应的变换矩阵用红色表示。

图2.11说明了这种关系：考虑一个同态映射：$\Phi :V\to W$和$V$和有序基$B,\tilde{B}$以及$W$的有序基$C,\tilde{C}$。映射${\Phi }_{CB}$是$\Phi$的一个实例，它将$B$的基向量映射为$C$的基向量的线性组合。假设我们已知关于有序基$B,C$的${\Phi }_{CB}$的变换矩阵${\mathbf{A}}_{\Phi }$。当我们在$V$中$B$到$\tilde{B}$和$W$中$C$到$\tilde{C}$间执行基变换时，我们可以通过以下步骤得到相应的变换矩阵${\tilde{\mathbf{A}}}_{\Phi }$

首先，我们找到了线性映射${\Psi }_{B\tilde{B}}:V\to V$的矩阵表示，它将相对于新基$\tilde{B}$的坐标映射到相对于“旧”基$B$（在$V$中）的（唯一）坐标上。

然后，我们使用${\Phi }_{CB}:V\to W$的变换矩阵${\mathbf{A}}_{\Phi }$将这些坐标映射到相对于$W$中的基$C$的坐标上。

最后，我们使用线性映射${\Xi }_{\tilde{C}C}:W\to W$将相对于$C$的坐标映射到相对于$\tilde{C}$的坐标上。

因此，我们可以把线性映射${\Phi }_{\tilde{C}\tilde{B}}$表示为包含“旧”基的线性映射的组合：

$${\Phi }_{\tilde{C}\tilde{B}}={\Xi }_{\tilde{C}C}\circ {\Phi }_{CB}\circ {\Psi }_{B\tilde{B}}={\Xi }_{C\tilde{C}}^{-1}\circ {\Phi }_{CB}\circ {\Psi }_{B\tilde{B}}$$

具体地说，我们使用${\Psi }_{B\tilde{B}}={\mathrm{i}\mathrm{d}}_V$和${\Xi }_{C\tilde{C}}={\mathrm{i}\mathrm{d}}_W$，即将向量恒等映射到自身所在的向量空间，但相对于不同的基。

定义 2.21等价

如果存在正则矩阵$\mathbf{S}\in {\mathbb{R}}^{n\times n}$和$\mathbf{T}\in {\mathbb{R}}^{m\times m}$，使得$\tilde{\mathbf{A}}={\mathbf{T}}^{-1}\mathbf{A}\mathbf{S}$，则称两矩阵$\mathbf{A},\tilde{\mathbf{A}}\in {\mathbb{R}}^{m\times n}$等价 (Equivalence)

定义 2.22 相似

如果存在正则矩阵$\mathbf{S}\in {\mathbb{R}}^{n\times n}$，使得$\tilde{\mathbf{A}}={\mathbf{S}}^{-1}\mathbf{A}\mathbf{S}$，则称两矩阵$\mathbf{A},\tilde{\mathbf{A}}\in {\mathbb{R}}^{m\times n}$相似(Similarity)。

备注：
相似矩阵总是等价的。然而，等价矩阵并不一定相似。

备注：
考虑向量空间$V，W，X$。从定理2.17后面的备注中，我们已经知道，对于线性映射$\Phi :V\to W$和$\Psi :W\to X$，映射$\Psi \circ \Phi :V\to X$也是线性的。若这两个映射相应的变换矩阵为${\mathbf{A}}_{\Phi }和{\mathbf{A}}_{\Psi }$，则整个变换矩阵是${\mathbf{A}}_{\Psi \circ \Phi }={\mathbf{A}}_{\Psi }{\mathbf{A}}_{\Phi }$。

鉴于此，我们可以从构建线性映射的角度来看待基的变化：

• ${\mathbf{A}}_{\Phi }$为关于基$B，C$的线性映射${\Phi }_{CB}:V\to W$的变换矩阵。
• ${\tilde{\mathbf{A}}}_{\Phi }$为关于基$\tilde{B}，\tilde{C}$的线性映射${\Phi }_{\tilde{C}\tilde{B}}:V\to W$的变换矩阵。
• $\mathbf{S}$是线性映射${\Psi }_{B\tilde{B}}:V\to V$（自同构）的变换矩阵，它用$B$表示$\tilde{B}$。通常，$\Psi ={\mathrm{i}\mathrm{d}}_V$是$V$中的恒等映射。
• $\mathbf{T}$是线性映射${\Xi }_{C\bar{C}}:W\to W$（自同构）的变换矩阵，它用$C$表示$\tilde{C}$。通常，$\Xi ={\mathrm{i}\mathrm{d}}_W$是$W$中的恒等映射。

如果我们（非正式地）用基的形式表示变换，那么有：${\mathbf{A}}_{\Phi }：B\to C,{\tilde{\mathbf{A}}}_{\Phi }:\tilde{B}\to \tilde{C},\mathbf{S}:\tilde{B}\to B,\mathbf{T}:\tilde{C}\to C$和${\mathbf{T}}^{-1}:C\to \tilde{C}$以及

$$\tilde{B}\to \tilde{C}=\tilde{B}\to B\to C\to \tilde{C}$$
$${\tilde{\mathbf{A}}}_{\Phi }={\mathbf{T}}^{-1}{\mathbf{A}}_{\Phi }\mathbf{S}(2.116)$$

注意， (2.116)中的执行顺序是从右向左的，因为向量是在右侧相乘，即：
$$\mathbf{x}\mapsto \mathbf{S}\mathbf{x}\mapsto {\mathbf{A}}_{\Phi }(\mathbf{S}\mathbf{x})\mapsto {\mathbf{T}}^{-1}\left({\mathbf{A}}_{\Phi }(\mathbf{S}\mathbf{x})\right)={\tilde{\mathbf{A}}}_{\Phi }\mathbf{x}$$

例 2.24 基变换

考虑一个线性映射$\Phi :{\mathbb{R}}^3\to {\mathbb{R}}^4$的变换矩阵为：
$${\mathbf{A}}_{\Phi }=\left[\begin{array}{ccc}1& 2& 0\\ -1& 1& 3\\ 3& 7& 1\\ -1& 2& 4\end{array}\right]$$
变换相应的标准基为：
$$B=\left(\left[\begin{array}{l}1\\ 0\\ 0\end{array}\right],\left[\begin{array}{l}0\\ 1\\ 0\end{array}\right],\left[\begin{array}{l}0\\ 0\\ 1\end{array}\right]\right),C=\left(\left[\begin{array}{l}1\\ 0\\ 0\\ 0\end{array}\right],\left[\begin{array}{l}0\\ 1\\ 0\\ 0\end{array}\right],\left[\begin{array}{l}0\\ 0\\ 1\\ 0\end{array}\right],\left[\begin{array}{l}0\\ 0\\ 0\\ 1\end{array}\right]\right).$$

我们求$\Phi$关于新基
$$\tilde{B}=\left(\left[\begin{array}{l}1\\ 1\\ 0\end{array}\right],\left[\begin{array}{l}0\\ 1\\ 1\end{array}\right],\left[\begin{array}{l}1\\ 0\\ 1\end{array}\right]\right)\in {\mathbb{R}}^3,\tilde{C}=\left(\left[\begin{array}{l}1\\ 1\\ 0\\ 0\end{array}\right],\left[\begin{array}{l}1\\ 0\\ 1\\ 0\end{array}\right],\left[\begin{array}{l}0\\ 1\\ 1\\ 0\end{array}\right],\left[\begin{array}{l}1\\ 0\\ 0\\ 1\end{array}\right]\right)$$
的变换矩阵${\mathbf{A}}_{\Phi }$，首先求出：
$$\mathbf{S}=\left[\begin{array}{lll}1& 0& 1\\ 1& 1& 0\\ 0& 1& 1\end{array}\right],\mathbf{T}=\left[\begin{array}{llll}1& 1& 0& 1\\ 1& 0& 1& 0\\ 0& 1& 1& 0\\ 0& 0& 0& 1\end{array}\right]$$

式中，$\mathbf{S}$的第$i$列是${\tilde{b}}_i$相对于$B$的基向量的的坐标表示。对于一般的基$B$，我们需要解一个线性方程组来求${\lambda }_i$，使得${\sum }_{i=1}^3{\lambda }_i{\mathbf{b}}_i={\tilde{\mathbf{b}}}_j,j=1,\dots ,3$. 类似地，$\mathbf{T}$的第$j$列是${\tilde{\mathbf{c}}}_j$相对于$C$的基向量的坐标表示。
因此，我们可以得到：
$${\tilde{\mathbf{A}}}_{\Phi }={\mathbf{T}}^{-1}{\mathbf{A}}_{\Phi }\mathbf{S}=\frac{1}{2}\left[\begin{array}{cccc}1& 1& -1& -1\\ 1& -1& 1& -1\\ -1& 1& 1& 1\\ 0& 0& 0& 2\end{array}\right]\left[\begin{array}{ccc}3& 2& 1\\ 0& 4& 2\\ 10& 8& 4\\ 1& 6& 3\end{array}\right]$$
$$=\left[\begin{array}{ccc}-4& -4& -2\\ 6& 0& 0\\ 4& 8& 4\\ 1& 6& 3\end{array}\right]$$

在第四章中，我们将利用基变换的概念来寻找一个基，使得自同态的变换矩阵有一个特别简单的（对角）形式。在第十章降维中，我们将利用基变换研究一个数据压缩问题，即找到一个基并在这个基上投影数据从而压缩数据，同时最小化压缩损失。

2.7.3 像与核

线性映射的像和核是具有某些重要性质的向量子空间。在下面，我们将详细地描述它们。

定义 23 像与核（Image and Kernel）
对于$\Phi :V\to W$，我们定义核/零空间(e kernel/null space) 为：
ker ⁡ ( Φ ) : = Φ − 1 ( 0 W ) = { v ∈ V : Φ ( v ) = 0 W } \operatorname{ker}(\Phi):=\Phi^{-1}\left(\mathbf{0}_{W}\right)=\left\{\boldsymbol{v} \in V: \Phi(\boldsymbol{v})=\mathbf{0}_{W}\right\} ker(Φ):=Φ−1(0W​)={v∈V:Φ(v)=0W​}
以及像/值域(image/range) 为：
Im ⁡ ( Φ ) : = Φ ( V ) = { w ∈ W ∣ ∀ v ∈ V : Φ ( v ) = w } \operatorname{Im}(\Phi):=\Phi(V)=\{\boldsymbol{w} \in W \mid \forall \boldsymbol{v} \in V: \Phi(\boldsymbol{v})=\boldsymbol{w}\} Im(Φ):=Φ(V)={w∈W∣∀v∈V:Φ(v)=w}
原书籍中（ Im ⁡ ( Φ ) : = Φ ( V ) = { w ∈ W ∣ ∃ v ∈ V : Φ ( v ) = w } \operatorname{Im}(\Phi):=\Phi(V)=\{\boldsymbol{w} \in W \mid \exists \boldsymbol{v} \in V: \Phi(\boldsymbol{v})=\boldsymbol{w}\} Im(Φ):=Φ(V)={w∈W∣∃v∈V:Φ(v)=w}）可能有误。

我们也分别称$V$和$W$为$\Phi$的定义域(domain)和陪域(codomain，或称为上域、到达域)。

直观地说，核是被$\Phi$映射到单位元$0_W\in W$上的一组向量$\mathbf{v}\in V$。

像是一组向量$\mathbf{w}\in W$，$V$中任何向量能被$\Phi$映射“到达”像。如图2.12所示。

图2.12 线性映射$\Phi :V\to W$的核与像。

备注：

考虑线性映射$\Phi :V\to W$，其中$V$和$W$为向量空间。

• $\Phi \left(0_V\right)=0_W$总是成立，因此$0_V\in \ker (\Phi )$，特别地，零空间永远不会是空的。
• $\mathrm{Im}(\Phi )\subseteq W$是$W$的子空间，而$\ker (\Phi )\subseteq V$是$V$的子空间。
• 当且仅当 ker ⁡ ( Φ ) = { 0 } \operatorname{ker}(\Phi)=\{\mathbf{0}\} ker(Φ)={0}，$\Phi$为单射的(一对一)

备注：零空间与列空间

考虑$\mathbf{A}\in {\mathbb{R}}^{m\times n}$以及线性映射$\Phi :{\mathbb{R}}^n\to {\mathbb{R}}^m,\mathbf{x}\mapsto \mathbf{A}\mathbf{x}$

对于$\mathbf{A}=\left[{\mathbf{a}}_1,\dots ,{\mathbf{a}}_n\right]$，$a_i$为$\mathbf{A}$的列，我们可以得到：
Im ⁡ ( Φ ) = { A x : x ∈ R n } = { ∑ i = 1 n x i a i : x 1 , … , x n ∈ R } \operatorname{Im}(\Phi)=\left\{\boldsymbol{A} \boldsymbol{x}: \boldsymbol{x} \in \mathbb{R}^{n}\right\}=\left\{\sum_{i=1}^{n} x_{i} \boldsymbol{a}_{i}: x_{1}, \ldots, x_{n} \in \mathbb{R}\right\} Im(Φ)={Ax:x∈Rn}={i=1∑n​xi​ai​:x1​,…,xn​∈R}
$$=\mathrm{span}\left[{\mathbf{a}}_1,\dots ,{\mathbf{a}}_n\right]\subseteq {\mathbb{R}}^m$$

即：像是$\mathbf{A}$的列张成的空间，也称为列空间(column space)。因此，列空间（像）是${\mathbb{R}}^m$的子空间，其中$m$是矩阵的“高度"。

• $\mathrm{rk}(\mathbf{A})=\dim (\mathrm{Im}(\Phi ))$
• 核/零空间$\ker (\Phi )$是齐次线性方程组$\mathbf{A}\mathbf{x}=0$的通解，即使得$\mathbf{A}$的列的线性组合为$0\in {\mathbb{R}}^m$的${\mathbb{R}}^n$中的元素。
• 核是${\mathbb{R}}^n$的子空间，其中$n$是矩阵的“宽度”。
• 核关注列之间的关系，我们可以使用它来确定是否/如何将列表示为其他列的线性组合。

例 2.25 线性映射的像和核

映射：
$$\Phi :{\mathbb{R}}^4\to {\mathbb{R}}^2,\left[\begin{array}{l}{x}_1\\ x_2\\ x_3\\ x_4\end{array}\right]\mapsto \left[\begin{array}{llll}1& 2& -1& 0\\ 1& 0& 0& 1\end{array}\right]\left[\begin{array}{l}{x}_1\\ x_2\\ x_3\\ x_4\end{array}\right]=\left[\begin{array}{c}{x}_1+2x_2-x_3\\ x_1+x_4\end{array}\right]$$
$$=x_1\left[\begin{array}{l}1\\ 1\end{array}\right]+x_2\left[\begin{array}{l}2\\ 0\end{array}\right]+x_3\left[\begin{array}{c}-1\\ 0\end{array}\right]+x_4\left[\begin{array}{l}0\\ 1\end{array}\right]$$

是线性的。为了确定$\mathrm{Im}(\Phi )$，我们可以取变换矩阵列的生成空间(span)，得到
$$\mathrm{Im}(\Phi )=\mathrm{span}[\left[\begin{array}{l}1\\ 1\end{array}\right],\left[\begin{array}{l}2\\ 0\end{array}\right],\left[\begin{array}{c}-1\\ 0\end{array}\right],\left[\begin{array}{l}0\\ 1\end{array}\right]]$$

为了计算$\Phi$的核（零空间），我们需要解$\mathbf{A}\mathbf{x}=0$，也就是说，我们需要解一个齐次方程组。为此，我们使用高斯消元法将$\mathbf{A}$转换为行最简阶梯型：
$$\left[\begin{array}{cccc}1& 2& -1& 0\\ 1& 0& 0& 1\end{array}\right]⇝\cdots ⇝\left[\begin{array}{cccc}1& 0& 0& 1\\ 0& 1& -\frac{1}{2}& -\frac{1}{2}\end{array}\right]$$

这个矩阵是行最简阶梯型，我们可以使用之前提到的Minus-1技巧来计算核的基。或者，我们可以将非主元列（第3列和第4列）表示为主元列（第1列和第2列）的线性组合。第三列${\mathbf{a}}_3$相当于第二列${\mathbf{a}}_2$的$-\frac{1}{2}$倍。因此，$0=a_3+\frac{1}{2}{\mathbf{a}}_2$。以同样的方式，我们看到${\mathbf{a}}_4={\mathbf{a}}_1-\frac{1}{2}{\mathbf{a}}_2$，因此$0={\mathbf{a}}_1-\frac{1}{2}{\mathbf{a}}_2-{\mathbf{a}}_4$。总的来说，可以得到核（零空间）为

$$\ker (\Phi )=\mathrm{span}[\left[\begin{array}{l}0\\ \frac{1}{2}\\ 1\\ 0\end{array}\right],\left[\begin{array}{c}-1\\ \frac{1}{2}\\ 0\\ 1\end{array}\right]]$$

定理 2.24 秩-零化度定理

对于向量空间$V，W$和线性映射$\Phi :V\to W$，总有
$$\dim (\ker (\Phi ))+\dim (\mathrm{Im}(\Phi ))=\dim (V)$$

秩-零化度定理(Rank-Nullity Theorem)也被称为线性映射的基本理论 (fundamental theorem of linear mappings)，下面是通过该定理得到的结论：

• 如果$\dim (\mathrm{Im}(\Phi ))<\dim (V)$,那么$\ker (\Phi )$是非平凡的，即核不仅包含$0_V$且$\dim (\ker (\Phi ))⩾1$
• 如果${\mathbf{A}}_{\Phi }$是$\Phi$相对于有序基的变换矩阵，且$\dim (\mathrm{Im}(\Phi ))<\dim (V)$，则线性方程组$\mathbf{A}\mathbf{x}=0$有无穷多个解。
• 如果$\dim (V)=\dim (W)$，则以下三个说法等价
  – $\Phi$是单射的
  – $\Phi$是满射的
  – $\Phi$是双射的
  因为$\mathrm{Im}(\Phi )\subseteq W$。

2.8 仿射空间

在下面，我们将研究从原点偏移的空间，即不再是向量子空间的空间。此外，我们将简要讨论这些仿射空间之间类似线性映射的一些性质。

备注：
在机器学习领域的文献中，线性和仿射之间的区别有时是不明确的，因此我们可以将线性空间/映射作为仿射空间/映射的参考。

2.8.1 仿射子空间

定义 2.25 仿射自空间

使$V$为向量空间，${\mathbf{x}}_0\in V$，以及子空间$U\subseteq V$。那么子集
L = x 0 + U : = { x 0 + u : u ∈ U } = { v ∈ V ∣ ∃ u ∈ U : v = x 0 + u } ⊆ V \begin{aligned}L &=\boldsymbol{x}_{0}+U:=\left\{\boldsymbol{x}_{0}+\boldsymbol{u}: \boldsymbol{u} \in U\right\} \\&=\left\{\boldsymbol{v} \in V \mid \exists \boldsymbol{u} \in U: \boldsymbol{v}=\boldsymbol{x}_{0}+\boldsymbol{u}\right\} \subseteq V\end{aligned} L​=x0​+U:={x0​+u:u∈U}={v∈V∣∃u∈U:v=x0​+u}⊆V​
称为$V$的仿射子空间(affine subspace)或$V$的线性流形(linear manifold )。$U$称为方向(direction)或方向空间(direction space)，$x_0$被称为支撑点(support point)，在第十二章分类中，我们也称这个子空间为一个超平面( hyperplane)

注意，如果${\mathbf{x}}_0\notin U$，那么仿射子空间不包括$0$。因此，对于${\mathbf{x}}_0\notin U$，仿射子空间不是$V$的（线性）子空间（向量子空间）

仿射子空间的例子是${\mathbb{R}}^3$中的非原点以及不穿过原点的点、线和平面。

备注：
考虑向量空间$V$两个仿射空间$L={\mathbf{x}}_0+U$和$\tilde{L}={\tilde{\mathbf{x}}}_0+\tilde{U}$，当且仅当$U\subseteq \tilde{U}$和${\mathbf{x}}_0-{\tilde{\mathbf{x}}}_0\in \tilde{U}$时，$L\subseteq \tilde{L}$

仿射子空间通常用参数(parameters)来描述：考虑$V$的一个$k$维仿射空间$L=x_0+U$，若$\left({\mathbf{b}}_1,\dots ,{\mathbf{b}}_k\right)$是$U$的有序基，那么任意$\mathbf{x}\in L$能被唯一描述为：
$$\mathbf{x}={\mathbf{x}}_0+{\lambda }_1{\mathbf{b}}_1+\dots +{\lambda }_k{\mathbf{b}}_k$$
其中${\lambda }_1,\dots ,{\lambda }_k\in \mathbb{R}$，这种表示称为$L$关于方向向量(directional vectors)${\mathbf{b}}_1,\dots ,{\mathbf{b}}_k$和参数${\lambda }_1,\dots ,{\lambda }_k$的参数方程( parametric equation)

例 2.26 仿射子空间

• 一维仿射子空间称为线( line)，可以写成$\mathbf{y}={\mathbf{x}}_0+\lambda {\mathbf{b}}_1$，其中$\lambda \in \mathbb{R}$和$U=\mathrm{span}\left[{\mathbf{b}}_1\right]\subseteq {\mathbb{R}}^n$是$R^n$的一维子空间。这意味着直线由支撑点${\mathbf{x}}_0$和方向向量$[{\mathbf{b}}_1$定义。如图2.13。
  
  图 2.13线为仿射子空间。线${\mathbf{x}}_0+\lambda {\mathbf{b}}_1$上的向量$\mathbf{y}$在支持点位${\mathbf{x}}_0$，方向为${\mathbf{b}}_1$的仿射子空间上。

• ${\mathbb{R}}^n$的二维仿射子空间称为平面(plane)。平面的参数方程为$\mathbf{y}={\mathbf{x}}_0+{\lambda }_1{\mathbf{b}}_1+{\lambda }_2{\mathbf{b}}_2$，其中${\lambda }_1,{\lambda }_2\in \mathbb{R}$，$U=\mathrm{span}\left[{\mathbf{b}}_1,{\mathbf{b}}_2\right]\subseteq {\mathbb{R}}^n$。. 这意味着平面由支撑点${\mathbf{x}}_0$和张成方向空间的两个线性独立向量${\mathbf{b}}_1$、${\mathbf{b}}_2$定义。

• 在${\mathbb{R}}^n$中，$n-1$维仿射子空间称为超平面(hyperplanes)，相应的参数方程为$\mathbf{y}={\mathbf{x}}_0+{\sum }_{i=1}^{n-1}{\lambda }_i{\mathbf{b}}_i$，其中${\mathbf{b}}_1,\dots ,{\mathbf{b}}_{n-1}$构成${\mathbb{R}}^n$的$(n-1)$维子空间$U$的基。这意味着超平面由支撑点${\mathbf{x}}_0$和$(n-1)$个线性无关向量${\mathbf{b}}_1,\dots ,{\mathbf{b}}_{n-1}$张成方向空间定义。在${\mathbb{R}}^2$中，直线也是一个超平面。在${\mathbb{R}}^3$中，平面也是一个超平面。

备注：非齐次线性方程组与仿射子空间

对于$\mathbf{A}\in {\mathbb{R}}^{m\times n}$和$\mathbf{x}\in {\mathbb{R}}^m$，线性方程组$\mathbf{A}\mathbf{\lambda }=\mathbf{x}$的解是$n-\mathrm{rk}(\mathbf{A})$维的空集或${\mathbb{R}}^n$的仿射子空间。特别地，如果$\left({\lambda }_1,\dots ,{\lambda }_n\right)\ne (0,\dots ,0)$，则线性方程${\lambda }_1{b}_1+\dots +{\lambda }_n{b}_n=x$的解是${\mathbb{R}}^n$中的超平面。

在${\mathbb{R}}^n$中，每个$k$维仿射子空间都是一个非齐次线性方程组$\mathbf{A}\mathbf{x}=\mathbf{b}$的解，其中$\mathbf{A}\in {\mathbb{R}}^{m\times n}$, $\mathbf{b}\in {\mathbb{R}}^m$，且$\mathrm{rk}(\mathbf{A})=n-k$。回想一下前面的内容，对于齐次方程组$\mathbf{A}\mathbf{x}=0$，其解是一个向量子空间，我们也可以把它看作支撑点${\mathbf{x}}_0=0$的特殊仿射空间。

2.8.2 仿射映射

类似于向量空间之间的线性映射，我们也可以定义两个仿射空间之间的仿射映射。线性映射和仿射映射密切相关。因此，我们从线性映射中已经知道的许多性质(例如线性映射的合成是一种线性映射)也适用于仿射映射。

定义 2.26仿射映射

对于两个向量空间$V，W$，一个线性映射$\Phi :V\to W$和$\mathbf{a}\in W$，映射
$$\begin{array}{rl}\varphi :V& \to W\\ & \mathbf{x}\mapsto \mathbf{a}+\Phi (\mathbf{x})\end{array}$$
为$V$到$W$的一个仿射映射(affine mapping)。向量$\mathbf{a}$称为$\varphi$的平移向量(translation vector)

• 每个仿射映射$\varphi :V\to W$也是线性映射$\Phi :V\to W$和平移$\tau :W\to W$在$W$中的组合：$\varphi =\tau \circ \Phi$。其中映射$\Phi$和$\tau$是唯一确定的。
• 仿射映射$\varphi :V\to W,{\varphi }^{\prime }:W\to X$的合成${\varphi }^{\prime }\circ \varphi$也是仿射映射。
• 仿射映射保持几何结构不变。它们还保留了尺寸比例和平行度。

翻译自：
《MATHEMATICS FOR MACHINE LEARNING》作者是 Marc Peter Deisenroth，A Aldo Faisal 和 Cheng Soon Ong

公众号后台回复【m4ml】即可获取这本书。

另外，机器学习的数学基础.pdf