线性代数：第一章 向量空间

本文是马同学高等数学的学习笔记！

第一章 向量空间

1.1 向量

1.1.1 物理中的向量

向量是一个具有大小和方向的量。
向量的表示：将有向线段的起点和终点分别表示为字母A、B。则向量表示为$\overrightarrow{AB}$。
向量的相等：只要方向、大小一致就是相同的向量。

1.1.2 向量与复数

根据定义，每个复数都对应复平面上的一个点。如果将向量的起点固定在原点，则复平面上每个点也对应唯一的一个向量。
[外链图片转存失败(img-91KK1s0m-1563157537967)(1.png)]

如果希望使用复数来解释物理中的向量，那么复数就应当满足：

• 兼容实数，扩展数系。
• 在二维、三维空间中符合物理中的运算法则。

	复数	向量
目的	扩展实数	描述空间
运算	与实数兼容	只有加减、没有乘除
维度	只有二维	从0到无穷维

1.1.3 数学中的向量

向量的形式化定义：
n个有序的数$a_1,a_2,\cdots ,a_n$所组成的数组称为n维向量，这n个数称为该向量的n个分量，第i个数$a_i$称为第i个分量。n维向量可以写成一行，也可以写成一列。分别称为行向量和列向量：

• n维列向量：
  $$\left(\begin{array}{c}{a}_1\\ a_2\\ \cdots \\ a_n\end{array}\right)$$
• n维行向量：
  $$\left(\begin{array}{c}{a}_1,a_2\cdots a_n\end{array}\right)$$

1.1.4 大小和方向

• 平行：方向相同或相反的两个向量称为平行，或者说两向量的夹角为0。
• 正交：互相垂直的两个向量称为正交，或者说两向量的夹角为$\frac{\pi }{2}$。
• 单位向量：长度为1的向量称为单位向量。

零向量: 起点和终点为同一个点的向量为零向量，记做$O$
性质：

• 长度：0向量的长度为0。
• 方向：0向量指向任意方向。
• 夹角：零向量与某一向量的夹角为任意方向。
• 平行与正交：零向量与任意向量平行、正交。

1.2 向量的加减和数乘

1.2.1 加法

三角形法则:
$$u+v$$
$u、v$首尾相连，连接$O$和$v$。
可以扩展到多个向量相加。

代数定义:

更一般的，对于：
$$a=\left(\begin{array}{c}{a}_1\\ a_2\\ \cdots \\ a_n\end{array}\right)b=\left(\begin{array}{c}{b}_1\\ b_2\\ \cdots \\ b_n\end{array}\right)$$
它的加法定义为：
$$a+b=\left(\begin{array}{c}{a}_1\\ a_2\\ \cdots \\ a_n\end{array}\right)+\left(\begin{array}{c}{b}_1\\ b_2\\ \cdots \\ b_n\end{array}\right)=\left(\begin{array}{c}{a}_1+b_1\\ a_2+b_2\\ \cdots \\ a_n+b_n\end{array}\right)$$
当然也可以看做是行向量：
$$a+b=\left(\begin{array}{c}{a}_1,a_2\cdots a_n\end{array}\right)+\left(\begin{array}{c}{b}_1,b_2\cdots b_n\end{array}\right)=\left(\begin{array}{c}{a}_1+b_1,a_2+b_2\cdots a_n+b_n\end{array}\right)$$

1.2.2 数乘

数乘的几何意义:

• $|k|$为缩放比例
• $k<0$时，$ku$ 与 $u$的方向相反
• $ku//u$

代数定义:
对于：
$$a=\left(\begin{array}{c}{a}_1\\ a_2\\ \cdots \\ a_n\end{array}\right)$$
数乘k是将每个元素都扩大为k倍：
$$ka=k\left(\begin{array}{c}{a}_1\\ a_2\\ \cdots \\ a_n\end{array}\right)=\left(\begin{array}{c}k{a}_1\\ k{a}_2\\ \cdots \\ k{a}_n\end{array}\right),k\in R$$
当然也可以写成行向量：
$$ka=k\left(\begin{array}{c}{a}_1,a_2\cdots a_n\end{array}\right)=\left(\begin{array}{c}k{a}_1,k{a}_2\cdots k{a}_n\end{array}\right),k\in R$$

1.2.3基本运算法则

数乘和加法被称为向量的基本运算，运算后的结果仍然是向量，并且维度也没有发生改变。
符合一下规律：

• 加法：
  交换律：$v+u=u+v$
  结合律：$u+v+w=u+(v+w)$
• 数乘：
  交换律：$k\cdot u=u\cdot k$
  结合律：$k\cdot m\cdot u=k\cdot (m\cdot u)$
  分配律：$k(u+v)=ku+kv$

##1.3 线性表示与线性相关

1.3.1 等比混合

三原色：红绿蓝
黄 = 红 + 绿
白= 红 + 绿 + 蓝

1.3.2 非等比混合

颜料是从白光中减去某些颜色，如黄色颜料的作用是阻止蓝色光线的反射，进而我们看到的是黄色。
$$Y=(R+G+B)-B$$
颜料的三原色：洋红、青、黄

1.3.3 线性组合

$$R=\left(\begin{array}{c}255\\ 0\\ 0\end{array}\right),G=\left(\begin{array}{c}0\\ 255\\ 0\end{array}\right),B=\left(\begin{array}{c}0\\ 0\\ 255\end{array}\right)$$

如此：
$$Y=R+G=\left(\begin{array}{c}255\\ 0\\ 0\end{array}\right)+\left(\begin{array}{c}0\\ 255\\ 0\end{array}\right)=\left(\begin{array}{c}255\\ 255\\ 0\end{array}\right)$$

向量组： 若干同维数的列向量(或者同维数的行向量)所组成的集合，叫做向量组。
比如之前的$RGB$放在一个集合中，* { R , G , B } \{R, G, B\} {R,G,B}就是一个向量组。

线性组合： 给定向量组$A$:$a_1,a_2\cdots a_m$和向量$b$,如果存在一组实数$k_1,k_2\cdots k_m$，使得：
$$b=k_1{a}_1+k_2{a}_2+\cdots k_m{a}_m$$,称向量$b$能由向量组$A$线性表示，也可以说向量$b$是向量组$A$的线性组合。

---

1.3.4 线性相关

$RGB$称为三原色，意为这三种颜色是最基本的元素，缺一不可，这是因为其中任何一种颜色不可能被另外两种颜色混合出来。称 A = { R , G , B } A = \{R, G, B\} A={R,G,B}线性无关。

线性相关： 给定向量组$A:a_1,a_2,\cdots a_m，$如果存在不全为0的实数$k_1,k_2,\cdots k_m$使得：
$$k_1{a}_1+k_2{a}_2+\cdots +k_m{a}_m=0$$,则称向量组$A$线性相关的，否则称它为线性无关。

1.4 向量空间

1.4.1 空间的两要素

向量空间应该具有的两要素：

• 包含向量：
  向量组就包含向量：
  V = { v 1 , v 2 , ⋯ &ThinSpace; , v n } V = \{v_1, v_2, \cdots, v_n\} V={v1​,v2​,⋯,vn​}
  并且向量组可以保证内部的向量维数相同。
• 向量的”运动“仍然在空间中：
  指数乘和加法。

向量空间： 对于某向量组$V$,$v_1,v_2\in V$,若$v_1+v_2\in V,k{v}_1\in V$，那么$V$就是向量空间。

1.4.2 特殊的向量空间

• 所有一维向量构成的集合是一个向量空间，记作$R^1:$
  R 1 = { ( x ) ∣ x ∈ R } R^1 = \{(x)|x \in R\} R1={(x)∣x∈R}
• 所有二维向量构成的集合是一个向量空间，记作$R^2:$
  R 2 = { ( x 1 , x 2 ) ∣ x 1 , 2 ∈ R } R^2 = \{(x_1, x_2)|x_{1,2} \in R\} R2={(x1​,x2​)∣x1,2​∈R}
• 更一般地：
  由所有n维向量构成的集合是一个向量空间$R^n:$
  R n = { ( x 1 , x 2 , ⋯ &ThinSpace; , x n ) ∣ n ∈ N , x n ∈ R } R^n = \{(x_1, x_2,\cdots, x_n)| n \in N, x_n \in R\} Rn={(x1​,x2​,⋯,xn​)∣n∈N,xn​∈R}
• 特别地， 仅含有零向量的集合也是一个向量空间，记作$R^0$
  $$R^0=0$$

注：三维空间的平面，虽然也是平面，但它的组成元素是三维向量，不是二维向量。

1.4.3 子空间

向量空间并不一定是$R^n$,也可以是它们的子集。如$R^3$中的一个点、一条直线、一个面。值得注意的是子空间一定要包含零向量.
V称为$R^3$的一个子空间，记作:$$V\subset R^3$$

1.5 基(上)

1.5.1 张成空间

张成空间： 某向量组 { v 1 , v 2 , ⋯ &ThinSpace; , v p } \{v_1, v_2,\cdots, v_p\} {v1​,v2​,⋯,vp​}，其所有线性组合构成的集合称为向量组 { v 1 , v 2 , ⋯ &ThinSpace; , v p } \{v_1,v_2,\cdots, v_p\} {v1​,v2​,⋯,vp​}的张成空间，记为$span(v_1,v_2,\cdots ,v_p)$,即：
s p a n ( v 1 , v 2 , ⋯ &ThinSpace; , v p ) = { k 1 v 1 + k 2 v 2 + ⋯ + k p v p ∣ k 1 , 2 , ⋯ &ThinSpace; , p ∈ R } span(v_1, v_2, \cdots, v_p) = \{k_1v_1 + k_2v_2+\cdots + k_pv_p| k_{1,2,\cdots, p} \in R\} span(v1​,v2​,⋯,vp​)={k1​v1​+k2​v2​+⋯+kp​vp​∣k1,2,⋯,p​∈R}
也称$span(v_1,v_2,\cdots ,v_p)$为向量组 { v 1 , v 2 , ⋯ &ThinSpace; , v p } \{v_1,v_2,\cdots, v_p\} {v1​,v2​,⋯,vp​}所张成。

1.5.2 等价向量组

等价向量组: 设有两个向量组 $A:a_1,a_2,\cdots a_m$及 $B:b_1,b_2,\cdots ,b_l$。
若B中的每个向量都能由向量组$A$线性表示，则称向量组$B$能由向量组$A$线性表示。
若向量组$A$与向量组$B$能相互表示，则称这两个向量组等价，也可以说$A$和$B$是等价向量组

1.5.3 等价空间

命题：设有两个向量组 $A:a_1,a_2,\cdots a_n$及 $B:b_1,b_2,\cdots ,b_m$。
则：$$A和B等价\iff span(A)=span(B)$$

1.5.4 极大线性无关组

极大线性无关组 :设有向量组$A$,若能在$A$中选出$r$个向量$a_1,a_2,\cdots ,a_r$满足：

• 向量组 A 0 = { a 1 , a 2 , ⋯ &ThinSpace; , a r } A_0 = \{a_1, a_2, \cdots, a_r\} A0​={a1​,a2​,⋯,ar​} 线性无关
• 向量组$A$中任意$r+1$个向量(如果$A$中有$r+1$个向量的话)都线性相关
  那么称向量组$A_0$是向量组$A$的一个极大线性无关组。

1.6 基(下)

1.6.1 基的定义

基 : $V$为向量空间，如果其中某向量组：
A = { a 1 , a 2 , ⋯ &ThinSpace; , a r } A = \{a_1, a_2, \cdots, a_r\} A={a1​,a2​,⋯,ar​}是$V$的极大线性无关组，那么向量组$A$被称为向量空间$V$的一个基。

1.6.2 秩与维度

秩 :假设向量组$A$的极大无关组为：
A 0 = { a 1 , a 2 , ⋯ &ThinSpace; , a r } A_0 = \{a_1, a_2, \cdots, a_r\} A0​={a1​,a2​,⋯,ar​}
$A_0$的向量个数$r$称为向量组$A$的秩，记作 $rank(A)$或者 $r(A)$。
只含零向量的向量组没有极大无关组，规定它的秩为0。

向量空间的维数 ： 假设向量空间$V$的基为：
A = { a 1 , a 2 , ⋯ &ThinSpace; , a r } A = \{a_1, a_2, \cdots, a_r\} A={a1​,a2​,⋯,ar​}
则$A$的秩$r$称为向量空间的维数，称$V$为$r$维向量空间。
如果向量空间没有基，那么它的维数为0,0维向量空间只含一个零向量。

1.6.3 基与坐标

坐标 :在向量空间$V$中取一个基$a_1,a_2,\cdots ,a_r$，那么$V$ 中某向量$x$可以唯一表示为：
$$x=k_1{a}_1+k_2{a}_2+\cdots +k_r{a}_r$$
$k_1,k_2,\cdots ,k_r$称为向量$x$在基 $a_1,a_2,\cdots ,a_r$ 下的坐标。
$x$在此基下可以表示为：
$$x={\left(\begin{array}{c}{k}_1\\ k_2\\ ⋮\\ k_r\end{array}\right)}_a$$
其中右下角的下标指明坐标所在的基。

所有的$R^n$都有自然基，在自然基下不需要加下标。

1.7 点积

1.7.1 欧几里得空间

欧几里得空间 ： 向量空间 + 点积运算

1.7.2 角度

向量的点积 ：
$$a\cdot b=(a_1,a_2)\cdot (b_1,b_2)=a_1{b}_1+a_2{b}_2$$
则夹角的余弦值可以使用向量的运算来表示：
$$\cos \theta =\frac{a_1{b}_1+a_2{b}_2}{\Vert a\Vert \Vert b\Vert }$$

1.7.3 长度

$$\Vert a\Vert =\sqrt{a\cdot a}$$

1.7.4 点积的定义

点积(内积) ：在向量空间$R^n$中，自然基下，向量$x=(x_1,\cdots ,x_n)$和$y=(y_1,\cdots ,y_n)$的点积(dot product),或称内积(inner product)，定义为：
$$x\cdot y=x_1{y}_1+\cdot +x_n{y}_n=\sum _{i=1}^n{x}_i{y}_i$$

1.7.5 点积的性质

• 交换律：
  $$a\cdot b=b\cdot a$$
• 数乘结合律：
  $$(ka)\cdot b=k(b\cdot a)$$
• 分配律：
  $$(a+b)\cdot c=a\cdot c+b\cdot c$$

1.7.6 欧式距离与余弦距离

欧式距离 : $$\Vert a-b\Vert =\sqrt{(a-b)\cdot (a-b)}$$

余弦距离 ：$$\cos \theta =\frac{a\cdot b}{\Vert a\Vert \Vert b\Vert }$$

余弦距离解释了事物的相关性，在data mining由很多应用。