矩阵分析 (一) 线性空间和线性变换

矩阵分析系统学习笔记

本系列所有文章来自东北大学韩志涛老师的矩阵分析课程学习笔记，系列如下：
矩阵分析 (一) 线性空间和线性变换
矩阵分析 (二) 内积空间
矩阵分析 (三) 矩阵的标准形
矩阵分析 (四)向量和矩阵的范数
矩阵分析 (五) 矩阵的分解
矩阵分析 (六) 矩阵的函数
矩阵分析 (七) 矩阵特征值的估计
矩阵分析 (八) 矩阵的直积

  我们曾在线性代数里学过向量空间，它是由向量做成的集合。在这个集合里向量可以相加，向量可以乘以一个倍数，由此我们可以讨论向量的线性组合、向量的线性相关等概念。

线性空间的概念

线性空间

• 定义1.1：数域：一个对和、差、积、商运算都封闭的复数的非空集合$P$称为数域。

• 定义1.2：设$V$是一个非空的集合，如果在$V$中定义二元运算（加法）,

  • 即$V$中任意两个元素$\alpha$,$\beta$经过这个运算结果仍是$V$中的一个元素，这个元素称为$\alpha$与$\beta$的和，记$\alpha +\beta$。
  • 在数域$P$与$V$之间定义一个运算叫作数量乘法，即对于$P$中的任意数$k$与$V$中的任意一个元素$\alpha$，经过这一运算的结果仍然是$V$中的一个元素，称为$k$与$\alpha$的数量乘积，记$k\alpha$。

  如果上述运算满足以下规则，则称$V$为数域$P$上的线性空间。$V$中的元素也称为向量。

1. 对任意的$\alpha$，$\beta$ $\in$ $V$，则称$V$为数域$P$上的线性空间，$V$中的元素也称为向量。
2. 对任意的$\alpha$，$\beta$, $\gamma$，$\in$ $V$,$(\alpha +\beta )+\gamma =\alpha +(\beta +\gamma )$；
3. 在$V$中存在一个零元素，记作$0$，对任意的$\alpha +0=\alpha$；
4. 对任意的$\alpha \in V$，都有$\alpha$的负元素，记作$-\alpha$;
5. 对任意的$\alpha \in V$，有$1\cdot \alpha =\alpha$;
6. 对任意的$\alpha \in V$，$k,l\in P$，$k(l\alpha )=(kl)\alpha$;
7. 对任意的$\alpha \in V$，$k,l\in P$，$(k+l)\alpha =k\alpha +l\alpha$
8. 对任意的$k\in P$，$\alpha ,\beta \in V$，$k(\alpha +\beta )=k\alpha +k\beta$

线性空间的例子，基底、坐标

• 定义1.3：(线性相关)在$V$中有一组元素${\alpha }_1$，${\alpha }_2$，$\cdots$，${\alpha }_n$线性无关，且其他元素都可以被它们线性表达，则称${\alpha }_1$，${\alpha }_2$，$\cdots$，${\alpha }_n$为$V$的一组基，$n$为空间$V$的维数，记作$dimV=n$，而表达式的系数是这个元素的坐标。

• 例题： 求$P_3[t]$中多项式$1+t+t^2$在基底1，$t-1$，$(t-2)(t-1)$下的坐标：

  解：

$$1+t+t^2=k_1\times 1+k_2\times (t-1)+k_3(t-2)(t-1)$$

  令其对应项相等即可。

基变换与坐标变换

  一般来说，一个元素在不同的基底下有不同的坐标，它们的坐标有什么关系呢？

  设$V$是$P$上的$n$维线性空间，${\alpha }_1$，${\alpha }_2$，$\cdots$，${\alpha }_n$和${\beta }_1$，${\beta }_2$，$\cdots$，${\beta }_n$是$V$的两个不同的基底，因为${\alpha }_1$，${\alpha }_2$，$\cdots$，${\alpha }_n$是基底，所以${\beta }_1$，${\beta }_2$，$\cdots$，${\beta }_n$可以被这个基底线性表达，这两个基底的关系是：
$$({\beta }_1，{\beta }_2，\cdots ，{\beta }_n)$$
$$=({\alpha }_1，{\alpha }_2，\cdots ，{\alpha }_n)A$$

  利用过渡矩阵就可以得到这个元素的两个坐标之间的关系：
$$\alpha =\left({\beta }_1,{\beta }_2,\cdots ,{\beta }_n\right)\left(\begin{array}{c}{l}_1\\ l_2\\ ⋮\\ l_n\end{array}\right)$$
$$=\left({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n\right)A\left(\begin{array}{c}{l}_1\\ l_2\\ ⋮\\ l_n\end{array}\right)$$
$$=\left({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n\right)\left(\begin{array}{c}{k}_1\\ k_2\\ ⋮\\ k_n\end{array}\right)$$

$$\left(\begin{array}{c}{k}_1\\ k_2\\ ⋮\\ k_2\end{array}\right)=A\left(\begin{array}{c}{l}_1\\ l_2\\ ⋮\\ l_n\end{array}\right)$$

子空间和维数定理

子空间及生成方式

  我们知道三维线性空间$R^3$的二维平面$R^2$也是一个线性空间，这种类型的空间叫作子空间。

• 定义1.5：设$V$是数域$P$上的线性空间，$W$是$V$的非空子集，如果$W$对于线性空间$V$所定义的加法运算及数乘运算也构成$P$上的线性空间，则称$W$为$V$的线性子空间，简称子空间。

• 定理1.1：设$W$是$P$上的线性空间$V$的非空子集，则$W$是$V$的线性子空间的充要条件是：
  1）：若$\alpha ，\beta \in W$，则$\alpha +\beta \in W$；
  2）：若$\alpha \in W$，$k\in P$，则$k\alpha \in W$。
  { 0 } \{0\} {0}及$V$本身也是$V$的子空间，这两个子空间是$V$的平凡子空间。

• 设${\alpha }_1$，${\alpha }_2$，$\cdots$，${\alpha }_m$是$V$上的$m$个元素，由这$m$个元素的任意组合构成的集合 { k 1 α 1 + ⋯ + k m α m } \{k_{1}\alpha_{1}+\cdots+k_{m}\alpha_{m}\} {k1​α1​+⋯+km​αm​}对$V$中的加法及数乘封闭，因而这个子集是$V$中的子空间。记作：

$$L({\alpha }_1，{\alpha }_2，\cdots ，{\alpha }_m)$$

• 用原有的子空间生成新的子空间的方法：
  1）：设$V_1$，$V_2$是$V$的子空间，则$V_1\cap V_2$是$V$的子空间，叫做两个子空间的交子空间。
  2）：设$V_1$，$V_2$是$V$的子空间，$V_1+V_2$也是$V$的子空间，这里：
  V 1 + V 2 = { α 1 + α 2 ∣ α 1 ∈ V 1 ， α 2 ∈ V 2 } V_{1}+V_{2}=\{\alpha_{1}+\alpha_{2}|\alpha_{1} \in V_{1}，\alpha_{2} \in V_{2}\} V1​+V2​={α1​+α2​∣α1​∈V1​，α2​∈V2​}

  这个子空间叫做$V_1$和$V_2$的和子空间。

维数定理

  由两个子空间$V_1$，$V_2$生成的子空间的维数$dim(V_1+V_2)$,$dim(V_1\cap V_2)$与原来的子空间的维数之间有一个关系，称之为维数定理，即：
$$dim{V}_1+dim{V}_2$$
$$=dim(V_1+V_2)+dim(V_1\cap V_2)$$

• 定理1.2：$V_1+V_2$是直和的充要条件是 V 1 ∩ V 2 = { 0 } V_{1} \cap V_{2} = \{0\} V1​∩V2​={0}。

  这个几个概念比较重要，需要记住。

线性空间中的线性变换

• 定义1.6：设$T$是$V$上的变换，如果对于任意的$\alpha$，$\beta \in V$及$k\in P$都有：
  $$T(\alpha +\beta )=T\alpha +T\beta$$
  $$T(k\alpha )=kT\alpha$$

  则称$T$为$V$上的线性变换。线性变换保持$V$上的运算。

  上面这个线性变换的公式需要记住，经常会考这个改变以及以下变种。比如下文的线性变换的矩阵的公式：

  由：

$$({\epsilon }_1，{\epsilon }_2，{\epsilon }_3)=(e_1,e_2,e_3)C$$

  能得到：

$$T({\epsilon }_1，{\epsilon }_2，{\epsilon }_3)=T(e_1,e_2,e_3)C$$

  这时如果知道：

$$T({\epsilon }_1，{\epsilon }_2，{\epsilon }_3)=({\epsilon }_1，{\epsilon }_2，{\epsilon }_3)A$$

  即可求出：

$$T(e_1,e_2,e_3)=T({\epsilon }_1，{\epsilon }_2，{\epsilon }_3)C^{-1}$$

  等于：

$$T(e_1,e_2,e_3)=({\epsilon }_1，{\epsilon }_2，{\epsilon }_3)A{C}^{-1}$$

  等于：

$$T(e_1,e_2,e_3)=(e_1,e_2,e_3)CA{C}^{-1}$$

• 零变换及单位变换也是线性变换，零变换是把所有元素变成零的变换，单位变换是把每个元素映射成自己的变换。

• 线性变换作为一种运算也可以组合，如果$T_1$，$T_2$是线性变换，则：

$$\begin{gathered} (T_1+T_2)\alpha =T_1\alpha +T_2{\alpha }_{}, \\ (k{T}_1)\alpha =k(T_1\alpha ) \end{gathered}$$

  可以证明，线性空间中的所有线性变换也做成一个线性空间，记作$L(V)$

• 即用线性变换，定义的子空间，一个是像子空间，一个是核子空间。
  像： T V = { T α ∣ α ∈ V } TV=\{T\alpha|\alpha \in V\} TV={Tα∣α∈V}
  核： T − 1 ( 0 ) = k e r T = { α ∣ α ∈ V , T α = 0 } T^{-1}(0)=kerT=\{\alpha|\alpha \in V,T\alpha=0\} T−1(0)=kerT={α∣α∈V,Tα=0}。

  像子空间是由$V$中所有元素的像构成的，即任取$\beta \in TV$，则一定存在$\alpha \in V$，使得$\beta =T\alpha$。

  核子空间是由所有$\alpha$中的一些元素构成的，这些元素在线性变换的作用下是零。

• 定理1.3（维数定理）：设$T$是$n$维空间上的线性变换，则
  $$dimTV+dim{T}^{-1}(0)=n$$

线性变换的矩阵

  $V$上的所有线性变换构成的子空间是一个比较抽象的空间，我们知道一些具体的线性变换，但是任意一个线性变换是什么样子的，怎么表达呢？

  设$\alpha \in V$，

$$\alpha =\sum _{i=1}^n{k}_i{\alpha }_i=\left({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n\right)\left(\begin{array}{c}{k}_1\\ k_2\\ ⋮\\ k_n\end{array}\right)$$

$$T\alpha =\left(T{\alpha }_1,T{\alpha }_2,\cdots ,T{\alpha }_n\right)\left(\begin{array}{c}{k}_1\\ k_2\\ ⋮\\ k_n\end{array}\right)$$
$$=\sum _{i=1}^n{k}_{i}T{\alpha }_i$$

  可以看出，决定线性变换结果的是：

$$T{\alpha }_1，T{\alpha }_2\cdots ,T{\alpha }_n$$

  即基底在这个线性变换之下变成了什么形式。

  因为$T{\alpha }_1，T{\alpha }_2\cdots ,T{\alpha }_n$，仍然是$V$中的元素，当然可以被$V$的基底表达：

$$\{\begin{array}{l}T{\mathbf{\alpha }}_1=a_{11}{\mathbf{\alpha }}_1+\cdots +a_{n1}{\mathbf{\alpha }}_n\\ T{\mathbf{\alpha }}_2=a_{12}{\mathbf{\alpha }}_1+\cdots +{\mathbf{\alpha }}_{n2}{\mathbf{\alpha }}_n\\ ⋮\\ T{\mathbf{\alpha }}_n=a_{1n}{\mathbf{\alpha }}_1+\cdots +a_{nn}{\mathbf{\alpha }}_n\end{array}$$

  $A=(a_{ij}{)}_{n\times n}$为线性变换$T$在基底${\alpha }_1，\cdots ，{\alpha }_n$下的矩阵。

  可见每一个线性变换实际上与一个矩阵相对应，反过来，每一个矩阵也对应一个线性变换，即给定一个矩阵$A$,只要定义：
$$\left(T{\alpha }_1,T{\alpha }_2,\cdots ,T{\alpha }_n\right)=({\alpha }_1，{\alpha }_2，\cdots ，{\alpha }_n)A$$
  则这个矩阵对应一个线性变换。

我的微信公众号名称：小小何先生
公众号介绍：主要研究分享深度学习、机器博弈、强化学习等相关内容！期待您的关注，欢迎一起学习交流进步！