【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（10）：向量组及其线性组合

前言

Hello！小伙伴！
非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～
 
自我介绍 ଘ(੭ˊᵕˋ)੭
昵称：海轰
标签：程序猿｜C++选手｜学生
简介：因C语言结识编程，随后转入计算机专业，有幸拿过一些国奖、省奖…已保研。目前正在学习C++/Linux/Python
学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！
 
机器学习小白阶段
文章仅作为自己的学习笔记 用于知识体系建立以及复习
知其然 知其所以然！

往期文章

【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（1）：二阶与三阶行列式、全排列及其逆序数

【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（2）：n阶行列式、对换

【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（3）：行列式的性质

【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（4）：行列式按行（列）展开

【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（5）：克拉默法则

【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（6）：矩阵的运算

【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（7）：逆矩阵

【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（8）：矩阵的初等变换

【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（9）：矩阵的秩、线性方程组的解

4.1 向量组及其线性组合

定义1

1. n维向量

定义：n个有次序的数$a_1,a_2,....,a_n$所组成的数组，其中这n个数成为该向量的n个分量，第i个数$a_i$称为第i个分量

2. 实向量

定义：向量中的所有的分量均为实数

3. 复向量

定义：向量中至少有一个分量为复数

4. n维列向量a

$$a=\left[\begin{array}{c}{a}_1\\ a_2\\ .\\ .\\ .\\ a_n\end{array}\right]$$

5. n维行向量b

$$b=(b_1,b_2,...,b_n)$$

一般来说，列向量用黑体小写字母$\alpha 、\beta$等表示，行向量用${\alpha }^T、{\beta }^T$等表示
无特殊说明时，一般看作为列向量

6. 三维向量空间

定义：三维向量的全体所组成的集合

R 3 = { r = ( x , y , z ) T ∣ x , y , z ∈ R } \mathbb{R}^3 = \{r = (x, y, z)^T | x, y, z \in \mathbb{R} \} R3={r=(x,y,z)T∣x,y,z∈R}

称为三维向量空间

在讨论向量的运算时，将向量看作有向线段

在讨论向量集合时，则把向量r看作以r为向径的点P，从而把点P的轨迹作为向量集的图形

向径：一般指位置矢量。在某一时刻，以坐标原点为起点，以运动质点所在位置为终点的有向线段

例如点集 Π = { P ( x , y , z ) ∣ a x + b y + c z = d \Pi = \{ P(x, y, z) | ax + by + cz = d Π={P(x,y,z)∣ax+by+cz=d是一个平面（a、b、c不全为0）

假设a = b = c = 1 d = 0
则为 x + y + z = 0
稍微变形一下 z = - x - y
这样就容易看出其是一个平面了

于是向量集 { r = ( x , y , z ) T ∣ a x + b y + c z = d } \{ r = (x, y, z)^T | ax + by + cz = d \} {r=(x,y,z)T∣ax+by+cz=d}

也叫做向量空间${\mathbb{R}}^3$中的平面，并把$\Pi$作为它的图形

7. n维向量空间

n维向量的全部所组成的集合

R n = { x = ( x 1 , x 2 , . . . . , x n ) T ∣ x 1 , x 2 , . . . , x n ∈ R } \mathbb{R}^n = \{ x = (x_1, x_2,...., x_n)^T | x_1,x_2,...,x_n \in \mathbb{R} \} Rn={x=(x1​,x2​,....,xn​)T∣x1​,x2​,...,xn​∈R}

其中n维向量的集合 { x = ( x 1 , x 2 , . . . , x n ) T ∣ a 1 x 1 + a 2 x 2 + . . . . + a n x n = b \{ x = (x_1,x_2,...,x_n)^T | a_1x_1 + a_2x_2 +.... + a_nx_n = b {x=(x1​,x2​,...,xn​)T∣a1​x1​+a2​x2​+....+an​xn​=b叫做n维向量空间${\mathbb{R}}^n中的n-1维超平面$

8. 向量组

定义：若干个同维数的列向量（或同维数的行向量）所组成的集合

一个 m * n 矩阵的全体列向量 是一个含有 n个 m维列向量的向量组
全体行向量是一个含 m个 n维行向量的向量组

矩阵的列向量组和行向量组都是只含 有限个向量 的向量组；反之，一个含有限个向量组总可以构成一个矩阵

比如，m个n维列向量所组成的向量组$A:a_1,a_2,...,a_m(a_i,i\in [1,m]表示一个n维列向量)$可以构成一个n * m 矩阵
$$A=(a_1,a_2,...,a_m)$$

m个n维行向量所组成的向量$B:{\beta }_1^T,{\beta }_2^T,...,{\beta }_m^T$构成一个m * n 矩阵

$$B=\left(\begin{array}{c}{\beta }_1^T\\ {\beta }_2^T\\ .\\ .\\ .\\ {\beta }_m^T\end{array}\right)$$

${\beta }_i$为列向量

总之，含有有限个向量的有序向量组可以与矩阵一一对应

定义2

（1）给定向量组$A:a_1,a_2,...,a_m$，对于任何一组实数$k_1,k_2,...,k_m$，表达式$k_1{a}_1+k_2{a}_2+...+k_m{a}_m$称为向量组A的一个线性组合，$k_1,k_2....,k_m$称为这个线性组合的系数

（2）给定向量组$A:a_1,a_2,...,a_m$和向量b，如果存在一组数${\lambda }_1,{\lambda }_2,...,{\lambda }_m$，使得$b={\lambda }_1{a}_1+{\lambda }_2{a}_2+....+{\lambda }_m{a}_m$

（3）则向量b是向量组A的线性表示，也就是说方程组$x_1{a}_1+x_2{a}_2+...+x_m{a}_m=b$有解

定理1

向量$b$能由向量$A:a_1,a_2,...,a_m$线性表示的充分必要条件是矩阵$A=(a_1,a_2,...,a_m)$的秩等于矩阵$B=(a_1,a_2,...a_m,b)$的秩

其实就是方程组$x_1{a}_1+x_2{a}_2+...+x_m{a}_m=b$有解
因为线性方程组$Ax=b$有解，充分必要条件是$R(A)=R(A,b)$（上一章的定理5）

定义3

设有两个向量组$A:a_1,a_2,...,a_m$及$B:b_1,b_2,....,b_l$，若B组中的每个向量都能由向量组A线性表示，则称向量组B能由向量组A线性表示。

若向量组A与向量组B互相线性表示，则称这两个向量组等价

设向量组$A=(a_1,a_2,...,a_m)$，向量组$B=(b_1,b_2,...,b_l)$

若$B$能由$A$线性表示 那么对每个向量$b_j(j=1,2,...,l)$

存在数$k_{1j},k_{2j},...,k_{mj}$，使得

$$b_j=k_{1j}{a}_1+k_{2j}{a}_2+...+k_{mj}{a}_m=(a_1,a_2,...,a_m)\left(\begin{array}{c}{k}_{1j}\\ k_{2j}\\ .\\ .\\ .\\ k_{mj}\end{array}\right)$$

从而得到

$$(b_1,b_2,....,b_l)=(a_1,a_2,...,a_m)\left(\begin{array}{cccc}{k}_{11}& k_{12}& ...& k_{1l}\\ k_{21}& k_{22}& ...& k_{2l}\\ .& .& & .\\ .& .& & .\\ .& .& & .\\ k_{m1}& k_{m2}& ...& k_{ml}\end{array}\right)$$

进而
$$B=AK$$
其中矩阵$K_{m\ast l}=(k_{ij})$则称为这一线性表示的系数矩阵

上面向量组A、B都是使用列向量组进行组合的，现在来讨论为行向量组来组成A、B

设
$$A=\left(\begin{array}{c}{a}_1^T\\ a_2^T\\ .\\ .\\ .\\ a_m^T\end{array}\right)B=\left(\begin{array}{c}{b}_1^T\\ b_2^T\\ .\\ .\\ .\\ b_l^T\end{array}\right)$$

因为B中的任意一条向量都可以用$A$线性表示

那么有

$b_j^T=k_{j1}{a}_1^T+k_{j2}{a}_2^T+...+k_{jm}{a}_m^T=(k_{j1},k_{j2},...,k_{jm})\left(\begin{array}{c}{a}_1^T\\ a_2^T\\ .\\ .\\ .\\ a_m^T\end{array}\right)(j\in [1,l])$

进而得到

$$\left(\begin{array}{c}{b}_1^T\\ b_2^T\\ .\\ .\\ .\\ b_l^T\end{array}\right)=\left(\begin{array}{cccc}{k}_{11}& k_{12}& ...& k_{1m}\\ k_{21}& k_{22}& ...& k_{2m}\\ .& .& & .\\ .& .& & .\\ .& .& & .\\ k_{l1}& k_{l2}& ...& k_{lm}\end{array}\right)\left(\begin{array}{c}{a}_1^T\\ a_2^T\\ .\\ .\\ .\\ a_m^T\end{array}\right)$$

推出 $B=KA$

由以上可知，若$C_{m\ast n}=A_{m\ast l}{B}_{l\ast n}$，则矩阵C的列向量组都能由矩阵A的列向量组线性表示，B则为这一表示的系数矩阵

$C$对应上式中的$B$，$A$对应$A$，那么$B$就对应$K（B=AK）$

$$(c_1,c_2,...,c_n)=(a_1,a_2,...,a_l)\left(\begin{array}{cccc}{b}_{11}& b_{12}& ....& b_{1n}\\ b_{21}& b_{22}& ....& b_{2n}\\ .& .& & .\\ .& .& & .\\ .& .& & .\\ b_{l1}& b_{l2}& ....& b_{ln}\end{array}\right)$$

同时，若C的行向量组都可以由B的行向量组线性表示，那么A就为这一表示的系数矩阵

利用$B=KA$ 对应这里的 $C=AB$
得到 A就是系数矩阵

定理2

向量组$B:b_1,b_2,...,b_l$能由向量组$A:a_1,a_2,...,a_m$线性表示的充分必要条件是矩阵$A=(a_1,a_2,...,a_m)$的秩等于矩阵$(A,B)=(a_1,...,a_m,b_1,...,b_l)$的秩，即$R(A)=R(A,B)$

说明

因为$B$可以由$A$进行线性表示

那么就存在一个系数矩阵$K$，使得$B=AK$

也就可以说

$AX=B$ 至少存在一个解

又因为

线性方程组$Ax=b$有解的充分必要条件是$R(A)=R(A,b)$

所以 $R(A)=R(A,B)$

推论

向量组$A:a_1,a_2,...,a_m$与向量组
$B:b_1,b_2,...,b_l$等价的充分必要条件是
$$R(A)=R(B)=R(A,B)$$

其中，A和B是向量组A和B所构成的矩阵

证明：

因为$B$可以由$A$进行线性表示，那么由定理2可以得

$$R(A)=R(A,B)$$

同理，$A$也可以由$B$进行线性表示，那么一样有

$$R(B)=R(B,A)$$

又因为

$$R(A,B)=R(B,A)$$

得到

$$R(A)=R(B)=R(A,B)=R(B,A)$$

证明完成！

举例

例 1

设$a_1=\left[\begin{array}{c}1\\ 1\\ 2\\ 2\end{array}\right],a_2=\left[\begin{array}{c}1\\ 2\\ 1\\ 2\end{array}\right],a_3=\left[\begin{array}{c}1\\ -1\\ 4\\ 0\end{array}\right],b=\left[\begin{array}{c}1\\ 0\\ 3\\ 1\end{array}\right]$

证明向量$b$能由向量组$a_1,a_2,a_3$线性表示，并求出表达式

证明：

设$A=(a_1,a_2,a_3)，B=(A,b)$

由定理1可知 向量b若能由向量组$a_1,a_2,a_3$线性表示

则

$$R(A)=R(A,b)=R(B)$$

这里我们只需要对$B$进行化简，求秩（求$R(B)$的同时，$R(A)$也就一目了然了）

由

$$\left(\begin{array}{cccc}1& 0& 3& 2\\ 0& 1& -2& -1\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}\right)$$

可得

$$\{\begin{array}{l}{x}_1+3x_3=2\\ x_2-2x_3=-1\end{array}$$

移项，得

$$\{\begin{array}{l}{x}_1=-3x_3+2\\ x_2=2x_3-1\end{array}$$

令$x_3=c$ 得

$$\{\begin{array}{l}{x}_1=-3c+2\\ x_2=2c-1\\ x_3=c\end{array}$$

推出

$$x=c\left(\begin{array}{c}-3\\ 2\\ 1\end{array}\right)+\left(\begin{array}{c}2\\ -1\\ 0\end{array}\right)=\left(\begin{array}{c}-3c+2\\ 2c-1\\ c\end{array}\right)$$

注：$x=\left(\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right)$

所以

$b=(a_1,a_2,a_3)x=(-3c+2)a_1+(2c-1)a_2+c{a}_3$，其中c可以取任何值

例2

设$a_1=\left[\begin{array}{c}1\\ -1\\ 1\\ -1\end{array}\right],a_2=\left[\begin{array}{c}3\\ 1\\ 1\\ 3\end{array}\right],b_1=\left[\begin{array}{c}2\\ 0\\ 1\\ 1\end{array}\right],b_2=\left[\begin{array}{c}1\\ 1\\ 0\\ 2\end{array}\right],b_3=\left[\begin{array}{c}3\\ -1\\ 2\\ 0\end{array}\right]$

证明向量组$a_1,a_2$与向量组$b_1,b_2,b_3$等价

证明：

设$A=(a_1,a_2),B=(b_1,b_2,b_3)$

由定理2的推论 可知 $A$与$B$等价

说明

$$R(A)=R(B)=R(A,B)$$

对$(A,B)$进行化简

得到

$$R(A)=R(A,B)=2$$

又可以明显的看出来$B$中有不等于0的2阶子式

说明

$$R(B)\ge 2$$

又因为

$$R(B)\le R(A,B)=2$$

所以有

$$2\le R(B)\le 2$$

推出

$$R(B)=2$$

综上

$$R(A)=R(B)=R(A,B)$$

所以$A$与$B$等价

定理3

设向量组$B=b_1,b_2,...,b_l$ 能由向量组$A:a_1,a_2,...,a_m$线性表示，则$R(b_1,b_2,...,b_l)\le R(a_1,a_2,...,a_n)$

证明：

令$A=(a_1,a_2,...,a_m)$，$B=(b_1,b_2,...,b_l)$

因为$B$可以由$A$线性表示

那么就有

$$R(A)=R(A,B)(由定理2得来)$$

又因为
$$R(B)<=R(A,B)$$

所以

$$R(B)<=R(A)$$

小结

由上面的定律、推论可得

向量组$B:b_1,b_2,...,b_l$能由向量组$A:a_1,a_2,...,a_m$线性表示$\iff$有矩阵$K$，使得$B=AK$$\iff$方程$AK=B$有解

结语

文章仅作为学习笔记，记录从0到1的一个过程

希望对您有所帮助，如有错误欢迎小伙伴指正～

我是 海轰ଘ(੭ˊᵕˋ)੭

如果您觉得写得可以的话，请点个赞吧

谢谢支持 ❤️