机器学习--高等数学篇--线性代数篇05--向量

上一节讲解了矩阵的初等变换，本章将学习并了解向量。此章请认真学习。

向量

一、向量的基本概念与运算

1.向量的定义，记号

由n个数构成的有序数组称为一个n维向量，每一个数字称为向量的分量；

2.向量运算

（1）加减法：两个向量的加减法，数乘与矩阵的运算完全一样，向量之间没有乘法

（2）内积：两个向量α，β的内积，用记号（α，β）表示，计算方法为：对应位置元素相乘并相加；

（α，β） = α^T · β = β^T · α

3.向量的长度：向量是有方向的

（1）向量的长度：

|α| = （a1^2+...+an^2）^(1/2) = （α,α）^(1/2) = （α^T·α）^(1/2)

（2）向量正交

   如果两个向量的内积等于0，则称这两个向量正交（垂直）

若α，β都是列向量，则αβ^T为一个矩阵，且改矩阵的对角线之和为（α，β） = α^T · β = β^T · α

二、向量组的基本概念

1.向量组的定义

把几个维数相同的列向量（行向量）放在一起作为一个集合，称为向量组，如果向量组中的每个向量都是n维向量，则称为n维向量组。

向量组与矩阵：向量组与矩阵存在一一对应关系；

2.线性组合

线性组合是一个单独的向量（详见笔记图片）

3.向量呗向量组线性表出（详见笔记图片）

4.向量组被向量组线性表出（详见笔记图片）

5.向量组等价（详见笔记图片）

若向量组A与向量组B能够互相线性表出，则称是向量组等价

二、深入线性组合，线性表出

1.线性组合

结论：（请参照笔记图片）

（1）Ax表示的是向量组α1，α2，...，αm的线性组合；

（2）Ax表示矩阵A列向量组的线性组合

2.线性表出

β能由α1，α2，...，αm线性表出，当且仅当Ax = β有解，其中x为系数向量

3.向量组被向量组线性表出

判断一个向量组能否被一个向量组先行表示的方式：

结论：把α1，α2，...，αm写成矩阵A，把b1，b2，...，bl写成矩阵B，如果存在一个矩阵X，是的AX = B，那么说明向量组b1，b2，...，bl可以被α1，α2，...，αm线性表出

线性相关、线性无关

1.线性相关，线性无关的定义：

设α1，α2，...，αm是n维向量组，如果存在以租不全为0的数k1，k2，...，km使得k1α1 + k2α2 + ... + kmαm = 0，则称α1，α2，...，αm线性相关。

如果只有当系数k1，k2，...，km全部为0，才能使得k1α1 + k2α2 + ... + kmαm = 0，则称α1，α2，...，αm线性无关。

2.线性相关，线性无关的简单性质（熟记）

（1）两个向量线性相关当且仅当他们的分量对应成比例；

（2）包含零向量的向量组一定线性相关；

（3）线性无关的向量组中一定没有零向量；

（4）一个向量组，如果有一个子向量组线性相关，则整个向量线性相关；

（5）一个向量组，如果整体线性无关，那么任意一个子向量组也线性无关；

二、线性相关，线性无关与线性表出

1.线性相关的向量组的特点：

定理1：α1，α2，...，αm（m>1）线性县官的充要条件是：至少存在一个向量，这个向量可以被其他n-1个向量线性表出；

2.线性无关的向量组的特点：

定理1：α1，α2，...，αm（m>1）线性无关的充要条件是：每一个向量都不可被其他n-1个向量线性表出

3.关于线性表出的一个定理：

α1，α2，...，αm线性无关，α1，α2，...，αm，β线性相关，那么β可以被α1，α2，...，αm线性表出，且表示方法唯一。

三、线性相关，线性无关与其次线性方程组

α1，α2，...，αm是n维向量组，假设k1α1 + k2α2 + ... + kmαm = 0，根据这个等式求解

注：k1α1 + k2α2 + ... + kmαm = 0十一i个齐次线性方程组

求出k1，k2，...，km可以不全为0，说明方程组有非零解；

求出k1，k2，...，km可以全为0，说明方程组只有零解；

1.由其次方程的解判断线性相关性：（克拉默法则：对于齐次方程组，若|α1，α2，...，αm|≠0，只有零解，|α1，α2，...，αm|=0，有无穷多解）

α1，α2，...，αm线性相关的充要条件是：

x1α1 + x2α2 + ... + xmαm = 0有非零解；

α1，α2，...，αm线性无关的充要条件是：

x1α1 + x2α2 + ... + xmαm = 0只有零解；

2.向量个数与向量维数相等的向量组

α1，α2，...，αn是n维向量组

|α1，α2，...，αm|=0 <----> x1α1 + x2α2 + ... + xnαn = 0有非零解<---->α1，α2，...，αn线性相关；

|α1，α2，...，αm|≠0 <----> x1α1 + x2α2 + ... + xnαn = 0只有零解<---->α1，α2，...，αn线性无关；

3.向量个数大于向量维数的向量组：（未知数大于等式）

α1，α2，...，αn是n维向量组，如果m>n，那么向量组一定相关

4.向量无关，则延申组无关：

一个向量组，如果线性无关，那么对向量组中每个向量的相同位置增加分量后，得到心想两组仍然线性无关；

向量组相关，则缩短组相关：

一个向量组，如果线性相关，那么每个向量中拿出相同位置的分量，得到的心想两组仍然线性相关；

极大线性无关组和秩

一、极大线性无关组的定义：

1.向量组的极大线性无关组：

设α1，α2，...，αs是n维向量组，αl1，αl2，...，αlr是一个自向量组，如果满足：

（1）自向量组αl1，αl2，...，αlr线性无关；

（2）从剩下的s-r个向量中，任意拿出一个向量，加入子向量组αl1，αl2，...，αlr中后，一定线性相关，那么称αl1，αl2，...，αlr是原来向量组的极大线性无关组；

2.极大线性无关组的等价条件（一）：

设α1，α2，...，αs是n维向量组，αl1，αl2，...，αlr是一个自向量组，如果满足：

（1）自向量组αl1，αl2，...，αlr线性无关；

（2）剩下的s-r向量，每个向量都可以被子向量组成线性表出；

那么称αl1，αl2，...，αlr是原来向量组的极大线性无关组

3.极大线性无关组的等价条件（二）：

设α1，α2，...，αs是n维向量组，αl1，αl2，...，αlr是一个自向量组，如果满足：

（1）自向量组αl1，αl2，...，αlr线性无关；

（2）整个向量组可以被向量组αl1，αl2，...，αlr线性表出；

这说明自向量组是极大线性无关组

4.极大线性无关组的等价条件（三）：

设α1，α2，...，αs是n维向量组，αl1，αl2，...，αlr是一个自向量组，如果满足：

（1）自向量组αl1，αl2，...，αlr线性无关；

（2）整个向量组与自向量组αl1，αl2，...，αlr等价；（向量组等价：指的是两个向量组互相线性表示）

总结：极大线性无关组的性质：

（1）一个向量组的极大线性无关组可能不是唯一的，选定一个极大无关组后，剩下的向量可以认为是“多余的向量”；

（2）不同的极大无关组都跟原来的向量组等价，从而不同的极大无关组也是等价的；

（3）不同的极大无关组包含的向量不同，但他们包含的向量个数一定是相同的；

这个时候发现：向量个数是相等的，这个起名字叫“秩”；

二、向量组的秩

1.向量组的秩的定义：

设α1，α2，...，αs是n维向量组，它的极大无关组中包含的向量的个数，称为向量的秩。记为：r（α1，α2，...，αs），显然，

r（α1，α2，...，αs）<= s。

2.向量组的秩的理解

r（α1，α2，...，αs） = m，这能说明：

（1）向量组α1，α2，...，αs的极大无关组一定由m个向量组成；

（2）向量组α1，α2，...，αs中最多只有m个向量线性无关；

（3）一个子向量组，线性无关且向量的个数正好等于m，那么这个子向量组一定是极大线性无关组；

（4）向量组α1，α2，...，αs中由s-m个多余向量；

3.向量组的秩可以判断线性相关与线性无关

r（α1，α2，...，αs） = s 等价于向量组线性无关

r（α1，α2，...，αn） < s 等价于向量组线性相关

4.两个向量组秩大小关系

如果β1，β2，...，βs能够被α1，α2，...，αt线性表出，则r（β1，β2，...，βs）<= r（α1，α2，...，αt）

5.求一个具体向量组的极大无关组与秩

求一个向量组α1，α2，...，αs的秩和极大无关组的方法：

（1）把向量组作为列向量组构成矩阵（α1，α2，...，αs）；

（2）用初等行变换把它化为阶梯型矩阵B；

结论：B的非零行的个数就是r（α1，α2，...，αs）；

           B的台脚所在的列号对应的部分组是α1，α2，...，αs的一个极大无关组

矩阵的秩

一、定义

1.矩阵的行秩，列秩

矩阵A的航向两组的秩称为矩阵的行秩，列向量组的秩称为矩阵的列秩；

2.矩阵的秩的定义

矩阵A的行秩一定等于矩阵的列秩，统称为矩阵的秩，记作r(A)

3.基本性质

Am x n ：0 <= r(Am x n) <= min{m,n}

当r(Am x n) = m时，称Am x n为行满秩，当r(Am x n) = n时，称Am x n为列满秩；

4.矩阵的秩与等式的关系

（1）A的k阶子式：

在 m x n 的矩阵A中，任取k行，k列（k<=m, k<=n），位于这些行和列交叉处的 k^2 个元素，不改变他们所在A中的所处的位置次序而得到的k阶行列式称为矩阵A的k阶子式；

（2）A的非零子式最高阶数

如果A中存在一个k阶子式不为0，但是所有的k+1阶子式全部等于0，则称k是家族很A的非零子式的最高阶数；

规律：矩阵的秩与非零子式的最高阶数一定相等

整个总结下来，向量这边需要知道向量的定义，运算，秩这几个重要概念，其他了解即可。

下面是我的笔记截图：