本文是马同学高等数学的学习笔记!
第一章 向量空间
1.1 向量
1.1.1 物理中的向量
向量是一个具有大小和方向的量。
向量的表示:将有向线段的起点和终点分别表示为字母A、B。则向量表示为
A
B
⃗
\vec{AB}
AB。
向量的相等:只要方向、大小一致就是相同的向量。
1.1.2 向量与复数
根据定义,每个复数都对应复平面上的一个点。如果将向量的起点固定在原点,则复平面上每个点也对应唯一的一个向量。
[外链图片转存失败(img-91KK1s0m-1563157537967)(1.png)]
如果希望使用复数来解释物理中的向量,那么复数就应当满足:
- 兼容实数,扩展数系。
- 在二维、三维空间中符合物理中的运算法则。
复数 | 向量 | |
---|---|---|
目的 | 扩展实数 | 描述空间 |
运算 | 与实数兼容 | 只有加减、没有乘除 |
维度 | 只有二维 | 从0到无穷维 |
1.1.3 数学中的向量
向量的形式化定义:
n个有序的数
a
1
,
a
2
,
⋯
 
,
a
n
a_1, a_2, \cdots, a_n
a1,a2,⋯,an所组成的数组称为n维向量,这n个数称为该向量的n个分量,第i个数
a
i
a_i
ai称为第i个分量。n维向量可以写成一行,也可以写成一列。分别称为行向量和列向量:
- n维列向量:
( a 1 a 2 ⋯ a n ) \left(\begin{matrix}a_1 \\a_2 \\ \cdots \\a_n\end{matrix}\right) ⎝⎜⎜⎛a1a2⋯an⎠⎟⎟⎞ - n维行向量:
( a 1 , a 2 ⋯ a n ) \left(\begin{matrix}a_1, a_2 \cdots a_n \end{matrix}\right) (a1,a2⋯an)
1.1.4 大小和方向
- 平行:方向相同或相反的两个向量称为平行,或者说两向量的夹角为0。
- 正交:互相垂直的两个向量称为正交,或者说两向量的夹角为 π 2 \frac{\pi}{2} 2π。
- 单位向量:长度为1的向量称为单位向量。
零向量: 起点和终点为同一个点的向量为零向量,记做
O
O
O
性质:
- 长度:0向量的长度为0。
- 方向:0向量指向任意方向。
- 夹角:零向量与某一向量的夹角为任意方向。
- 平行与正交:零向量与任意向量平行、正交。
1.2 向量的加减和数乘
1.2.1 加法
三角形法则:
u
+
v
u + v
u+v
u
、
v
u、v
u、v首尾相连,连接
O
O
O和
v
v
v。
可以扩展到多个向量相加。
代数定义:
更一般的,对于:
a
=
(
a
1
a
2
⋯
a
n
)
b
=
(
b
1
b
2
⋯
b
n
)
a = \left(\begin{matrix}a_1 \\a_2 \\ \cdots \\a_n\end{matrix}\right) \qquad b = \left(\begin{matrix}b_1 \\b_2 \\ \cdots \\b_n\end{matrix}\right)
a=⎝⎜⎜⎛a1a2⋯an⎠⎟⎟⎞b=⎝⎜⎜⎛b1b2⋯bn⎠⎟⎟⎞
它的加法定义为:
a
+
b
=
(
a
1
a
2
⋯
a
n
)
+
(
b
1
b
2
⋯
b
n
)
=
(
a
1
+
b
1
a
2
+
b
2
⋯
a
n
+
b
n
)
a + b = \left(\begin{matrix}a_1 \\a_2 \\ \cdots \\a_n\end{matrix}\right) + \left(\begin{matrix}b_1 \\b_2 \\ \cdots \\b_n\end{matrix}\right) = \left(\begin{matrix}a_1 + b_1 \\a_2 +b_2 \\ \cdots \\a_n+b_n\end{matrix}\right)
a+b=⎝⎜⎜⎛a1a2⋯an⎠⎟⎟⎞+⎝⎜⎜⎛b1b2⋯bn⎠⎟⎟⎞=⎝⎜⎜⎛a1+b1a2+b2⋯an+bn⎠⎟⎟⎞
当然也可以看做是行向量:
a
+
b
=
(
a
1
,
a
2
⋯
a
n
)
+
(
b
1
,
b
2
⋯
b
n
)
=
(
a
1
+
b
1
,
a
2
+
b
2
⋯
a
n
+
b
n
)
a + b = \left(\begin{matrix}a_1 ,a_2 \cdots a_n\end{matrix}\right) + \left(\begin{matrix}b_1 ,b_2 \cdots b_n\end{matrix}\right) = \left(\begin{matrix}a_1 + b_1 ,a_2 +b_2 \cdots a_n+b_n\end{matrix}\right)
a+b=(a1,a2⋯an)+(b1,b2⋯bn)=(a1+b1,a2+b2⋯an+bn)
1.2.2 数乘
数乘的几何意义:
- ∣ k ∣ \vert k\vert ∣k∣为缩放比例
- k < 0 k<0 k<0时, k u ku ku 与 u u u的方向相反
- k u / / u ku // u ku//u
代数定义:
对于:
a
=
(
a
1
a
2
⋯
a
n
)
a = \left(\begin{matrix}a_1 \\a_2 \\ \cdots \\a_n\end{matrix}\right)
a=⎝⎜⎜⎛a1a2⋯an⎠⎟⎟⎞
数乘k是将每个元素都扩大为k倍:
k
a
=
k
(
a
1
a
2
⋯
a
n
)
=
(
k
a
1
k
a
2
⋯
k
a
n
)
,
k
∈
R
ka = k\left(\begin{matrix}a_1 \\a_2 \\ \cdots \\a_n\end{matrix}\right) = \left(\begin{matrix}ka_1 \\ka_2 \\ \cdots \\ka_n\end{matrix}\right), k \in R
ka=k⎝⎜⎜⎛a1a2⋯an⎠⎟⎟⎞=⎝⎜⎜⎛ka1ka2⋯kan⎠⎟⎟⎞,k∈R
当然也可以写成行向量:
k
a
=
k
(
a
1
,
a
2
⋯
a
n
)
=
(
k
a
1
,
k
a
2
⋯
k
a
n
)
,
k
∈
R
ka = k\left(\begin{matrix}a_1 ,a_2 \cdots a_n\end{matrix}\right) = \left(\begin{matrix}ka_1 ,ka_2 \cdots ka_n\end{matrix}\right), k \in R
ka=k(a1,a2⋯an)=(ka1,ka2⋯kan),k∈R
1.2.3基本运算法则
数乘和加法被称为向量的基本运算,运算后的结果仍然是向量,并且维度也没有发生改变。
符合一下规律:
- 加法:
交换律: v + u = u + v v+u = u+v v+u=u+v
结合律: u + v + w = u + ( v + w ) u+v+w = u + (v+w) u+v+w=u+(v+w) - 数乘:
交换律: k ⋅ u = u ⋅ k k\cdot u = u\cdot k k⋅u=u⋅k
结合律: k ⋅ m ⋅ u = k ⋅ ( m ⋅ u ) k \cdot m \cdot u = k \cdot (m \cdot u) k⋅m⋅u=k⋅(m⋅u)
分配律: k ( u + v ) = k u + k v k(u + v) = ku + kv k(u+v)=ku+kv
##1.3 线性表示与线性相关
1.3.1 等比混合
三原色:红绿蓝
黄 = 红 + 绿
白= 红 + 绿 + 蓝
1.3.2 非等比混合
颜料是从白光中减去某些颜色,如黄色颜料的作用是阻止蓝色光线的反射,进而我们看到的是黄色。
Y
=
(
R
+
G
+
B
)
−
B
Y = (R + G + B) - B
Y=(R+G+B)−B
颜料的三原色:洋红、青、黄
1.3.3 线性组合
R = ( 255 0 0 ) , G = ( 0 255 0 ) , B = ( 0 0 255 ) R = \left(\begin{matrix}255 \\ 0 \\ 0\end{matrix}\right),\quad G = \left(\begin{matrix}0 \\ 255 \\ 0\end{matrix}\right), \quad B = \left(\begin{matrix}0 \\ 0 \\ 255\end{matrix}\right) R=⎝⎛25500⎠⎞,G=⎝⎛02550⎠⎞,B=⎝⎛00255⎠⎞
如此:
Y
=
R
+
G
=
(
255
0
0
)
+
(
0
255
0
)
=
(
255
255
0
)
Y = R + G = \left(\begin{matrix}255 \\ 0 \\ 0\end{matrix}\right) + \left(\begin{matrix}0 \\ 255 \\ 0\end{matrix}\right) = \left(\begin{matrix}255 \\ 255 \\ 0\end{matrix}\right)
Y=R+G=⎝⎛25500⎠⎞+⎝⎛02550⎠⎞=⎝⎛2552550⎠⎞
向量组: 若干同维数的列向量(或者同维数的行向量)所组成的集合,叫做向量组。
比如之前的
R
G
B
RGB
RGB放在一个集合中,*
{
R
,
G
,
B
}
\{R, G, B\}
{R,G,B}就是一个向量组。
线性组合: 给定向量组
A
A
A:
a
1
,
a
2
⋯
a
m
a_1,a_2\cdots a_m
a1,a2⋯am和向量
b
b
b,如果存在一组实数
k
1
,
k
2
⋯
k
m
k_1, k_2\cdots k_m
k1,k2⋯km,使得:
b
=
k
1
a
1
+
k
2
a
2
+
⋯
k
m
a
m
b = k_1a_1 + k_2a_2 + \cdots k_ma_m
b=k1a1+k2a2+⋯kmam,称向量
b
b
b能由向量组
A
A
A线性表示,也可以说向量
b
b
b是向量组
A
A
A的线性组合。
1.3.4 线性相关
R G B RGB RGB称为三原色,意为这三种颜色是最基本的元素,缺一不可,这是因为其中任何一种颜色不可能被另外两种颜色混合出来。称 A = { R , G , B } A = \{R, G, B\} A={R,G,B}线性无关。
线性相关: 给定向量组
A
:
a
1
,
a
2
,
⋯
a
m
,
A:a_1,a_2, \cdots a_m,
A:a1,a2,⋯am,如果存在不全为0的实数
k
1
,
k
2
,
⋯
k
m
k_1, k_2,\cdots k_m
k1,k2,⋯km使得:
k
1
a
1
+
k
2
a
2
+
⋯
+
k
m
a
m
=
0
k_1a_1 + k_2a_2 + \cdots + k_ma_m = 0
k1a1+k2a2+⋯+kmam=0,则称向量组
A
A
A线性相关的,否则称它为线性无关。
1.4 向量空间
1.4.1 空间的两要素
向量空间应该具有的两要素:
- 包含向量:
向量组就包含向量:
V = { v 1 , v 2 , ⋯   , v n } V = \{v_1, v_2, \cdots, v_n\} V={v1,v2,⋯,vn}
并且向量组可以保证内部的向量维数相同。 - 向量的”运动“仍然在空间中:
指数乘和加法。
向量空间: 对于某向量组 V V V, v 1 , v 2 ∈ V v_1, v_2 \in V v1,v2∈V,若 v 1 + v 2 ∈ V , k v 1 ∈ V v_1 + v_2 \in V, kv_1 \in V v1+v2∈V,kv1∈V,那么 V V V就是向量空间。
1.4.2 特殊的向量空间
- 所有一维向量构成的集合是一个向量空间,记作
R
1
:
R^1:
R1:
R 1 = { ( x ) ∣ x ∈ R } R^1 = \{(x)|x \in R\} R1={(x)∣x∈R} - 所有二维向量构成的集合是一个向量空间,记作
R
2
:
R^2:
R2:
R 2 = { ( x 1 , x 2 ) ∣ x 1 , 2 ∈ R } R^2 = \{(x_1, x_2)|x_{1,2} \in R\} R2={(x1,x2)∣x1,2∈R} - 更一般地:
由所有n维向量构成的集合是一个向量空间 R n : R^n: Rn:
R n = { ( x 1 , x 2 , ⋯   , x n ) ∣ n ∈ N , x n ∈ R } R^n = \{(x_1, x_2,\cdots, x_n)| n \in N, x_n \in R\} Rn={(x1,x2,⋯,xn)∣n∈N,xn∈R} - 特别地, 仅含有零向量的集合也是一个向量空间,记作
R
0
R^0
R0
R 0 = 0 R^0 = {0} R0=0
注:三维空间的平面,虽然也是平面,但它的组成元素是三维向量,不是二维向量。
1.4.3 子空间
向量空间并不一定是
R
n
R^n
Rn,也可以是它们的子集。如
R
3
R^3
R3中的一个点、一条直线、一个面。值得注意的是子空间一定要包含零向量.
V称为
R
3
R^3
R3的一个子空间,记作:
V
⊂
R
3
V \subset R^3
V⊂R3
1.5 基(上)
1.5.1 张成空间
张成空间: 某向量组
{
v
1
,
v
2
,
⋯
 
,
v
p
}
\{v_1, v_2,\cdots, v_p\}
{v1,v2,⋯,vp},其所有线性组合构成的集合称为向量组
{
v
1
,
v
2
,
⋯
 
,
v
p
}
\{v_1,v_2,\cdots, v_p\}
{v1,v2,⋯,vp}的张成空间,记为
s
p
a
n
(
v
1
,
v
2
,
⋯
 
,
v
p
)
span(v_1, v_2, \cdots , v_p)
span(v1,v2,⋯,vp),即:
s
p
a
n
(
v
1
,
v
2
,
⋯
 
,
v
p
)
=
{
k
1
v
1
+
k
2
v
2
+
⋯
+
k
p
v
p
∣
k
1
,
2
,
⋯
 
,
p
∈
R
}
span(v_1, v_2, \cdots, v_p) = \{k_1v_1 + k_2v_2+\cdots + k_pv_p| k_{1,2,\cdots, p} \in R\}
span(v1,v2,⋯,vp)={k1v1+k2v2+⋯+kpvp∣k1,2,⋯,p∈R}
也称
s
p
a
n
(
v
1
,
v
2
,
⋯
 
,
v
p
)
span(v_1, v_2, \cdots, v_p)
span(v1,v2,⋯,vp)为向量组
{
v
1
,
v
2
,
⋯
 
,
v
p
}
\{v_1,v_2,\cdots, v_p\}
{v1,v2,⋯,vp}所张成。
1.5.2 等价向量组
等价向量组: 设有两个向量组
A
:
a
1
,
a
2
,
⋯
a
m
A: a_1, a_2, \cdots a_m
A:a1,a2,⋯am及
B
:
b
1
,
b
2
,
⋯
 
,
b
l
B: b_1, b_2, \cdots, b_l
B:b1,b2,⋯,bl。
若B中的每个向量都能由向量组
A
A
A线性表示,则称向量组
B
B
B能由向量组
A
A
A线性表示。
若向量组
A
A
A与向量组
B
B
B能相互表示,则称这两个向量组等价,也可以说
A
A
A和
B
B
B是等价向量组
1.5.3 等价空间
命题:设有两个向量组
A
:
a
1
,
a
2
,
⋯
a
n
A: a_1, a_2, \cdots a_n
A:a1,a2,⋯an及
B
:
b
1
,
b
2
,
⋯
 
,
b
m
B: b_1, b_2, \cdots, b_m
B:b1,b2,⋯,bm。
则:
A
和
B
等
价
⇔
s
p
a
n
(
A
)
=
s
p
a
n
(
B
)
A 和 B 等价 \Leftrightarrow span(A) = span(B)
A和B等价⇔span(A)=span(B)
1.5.4 极大线性无关组
极大线性无关组 :设有向量组 A A A,若能在 A A A中选出 r r r个向量 a 1 , a 2 , ⋯   , a r a_1,a_2, \cdots, a_r a1,a2,⋯,ar满足:
- 向量组 A 0 = { a 1 , a 2 , ⋯   , a r } A_0 = \{a_1, a_2, \cdots, a_r\} A0={a1,a2,⋯,ar} 线性无关
- 向量组
A
A
A中任意
r
+
1
r+1
r+1个向量(如果
A
A
A中有
r
+
1
r+1
r+1个向量的话)都线性相关
那么称向量组 A 0 A_0 A0是向量组 A A A的一个极大线性无关组。
1.6 基(下)
1.6.1 基的定义
基 :
V
V
V为向量空间,如果其中某向量组:
A
=
{
a
1
,
a
2
,
⋯
 
,
a
r
}
A = \{a_1, a_2, \cdots, a_r\}
A={a1,a2,⋯,ar}是
V
V
V的极大线性无关组,那么向量组
A
A
A被称为向量空间
V
V
V的一个基。
1.6.2 秩与维度
秩 :假设向量组
A
A
A的极大无关组为:
A
0
=
{
a
1
,
a
2
,
⋯
 
,
a
r
}
A_0 = \{a_1, a_2, \cdots, a_r\}
A0={a1,a2,⋯,ar}
A
0
A_0
A0的向量个数
r
r
r称为向量组
A
A
A的秩,记作
r
a
n
k
(
A
)
rank(A)
rank(A)或者
r
(
A
)
r(A)
r(A)。
只含零向量的向量组没有极大无关组,规定它的秩为0。
向量空间的维数 : 假设向量空间
V
V
V的基为:
A
=
{
a
1
,
a
2
,
⋯
 
,
a
r
}
A = \{a_1, a_2, \cdots, a_r\}
A={a1,a2,⋯,ar}
则
A
A
A的秩
r
r
r称为向量空间的维数,称
V
V
V为
r
r
r维向量空间。
如果向量空间没有基,那么它的维数为0,0维向量空间只含一个零向量。
1.6.3 基与坐标
坐标 :在向量空间
V
V
V中取一个基
a
1
,
a
2
,
⋯
 
,
a
r
a_1, a_2, \cdots, a_r
a1,a2,⋯,ar,那么
V
V
V 中某向量
x
x
x可以唯一表示为:
x
=
k
1
a
1
+
k
2
a
2
+
⋯
+
k
r
a
r
x = k_1a_1 + k_2a_2 + \cdots + k_ra_r
x=k1a1+k2a2+⋯+krar
k
1
,
k
2
,
⋯
 
,
k
r
k_1, k_2, \cdots, k_r
k1,k2,⋯,kr称为向量
x
x
x在基
a
1
,
a
2
,
⋯
 
,
a
r
a_1, a_2, \cdots, a_r
a1,a2,⋯,ar 下的坐标。
x
x
x在此基下可以表示为:
x
=
(
k
1
k
2
⋮
k
r
)
a
x = \left(\begin{matrix}k_1 \\ k_2 \\ \vdots \\ k_r\end{matrix}\right)_a
x=⎝⎜⎜⎜⎛k1k2⋮kr⎠⎟⎟⎟⎞a
其中右下角的下标指明坐标所在的基。
所有的 R n R^n Rn都有自然基,在自然基下不需要加下标。
1.7 点积
1.7.1 欧几里得空间
欧几里得空间 : 向量空间 + 点积运算
1.7.2 角度
向量的点积 :
a
⋅
b
=
(
a
1
,
a
2
)
⋅
(
b
1
,
b
2
)
=
a
1
b
1
+
a
2
b
2
a \cdot b = (a_1, a_2) \cdot (b_1, b_2) = a_1b_1 + a_2b_2
a⋅b=(a1,a2)⋅(b1,b2)=a1b1+a2b2
则夹角的余弦值可以使用向量的运算来表示:
cos
θ
=
a
1
b
1
+
a
2
b
2
∥
a
∥
∥
b
∥
\cos\theta = \frac{a_1b_1 + a_2b_2}{\Vert a\Vert \Vert b \Vert}
cosθ=∥a∥∥b∥a1b1+a2b2
1.7.3 长度
∥ a ∥ = a ⋅ a \Vert a\Vert = \sqrt{a \cdot a} ∥a∥=a⋅a
1.7.4 点积的定义
点积(内积) :在向量空间
R
n
R^n
Rn中,自然基下,向量
x
=
(
x
1
,
⋯
 
,
x
n
)
x = (x_1, \cdots, x_n)
x=(x1,⋯,xn)和
y
=
(
y
1
,
⋯
 
,
y
n
)
y = (y_1, \cdots, y_n)
y=(y1,⋯,yn)的点积(dot product),或称内积(inner product),定义为:
x
⋅
y
=
x
1
y
1
+
⋅
+
x
n
y
n
=
∑
i
=
1
n
x
i
y
i
x \cdot y = x_1y_1 + \cdot + x_ny_n = \sum\limits_{i = 1}^{n}x_iy_i
x⋅y=x1y1+⋅+xnyn=i=1∑nxiyi
1.7.5 点积的性质
- 交换律:
a ⋅ b = b ⋅ a a \cdot b = b \cdot a a⋅b=b⋅a - 数乘结合律:
( k a ) ⋅ b = k ( b ⋅ a ) (ka)\cdot b = k(b \cdot a) (ka)⋅b=k(b⋅a) - 分配律:
( a + b ) ⋅ c = a ⋅ c + b ⋅ c (a + b) \cdot c = a \cdot c + b \cdot c (a+b)⋅c=a⋅c+b⋅c
1.7.6 欧式距离与余弦距离
欧式距离 : ∥ a − b ∥ = ( a − b ) ⋅ ( a − b ) \Vert a - b \Vert = \sqrt{(a - b)\cdot (a - b)} ∥a−b∥=(a−b)⋅(a−b)
余弦距离 : cos θ = a ⋅ b ∥ a ∥ ∥ b ∥ \cos\theta = \frac{a \cdot b}{\Vert a \Vert \Vert b \Vert} cosθ=∥a∥∥b∥a⋅b
余弦距离解释了事物的相关性,在data mining由很多应用。