文章目录
1、向量空间
1.1 向量空间的概念
在线性代数中,我们学习了向量与向量空间。下面我们结合网上一些资料(例如https://blog.csdn.net/shinian1987/article/details/82529853等博客,百度百科等),对其进行简单回顾。
向量(或称为矢量),是具有大小和方向的量。它可以形象化地表示为带箭头的线段。箭头所指:代表向量的方向;线段长度:代表向量的大小。
下面我们来看向量的两种基本运算,即向量加法以及向量与标量相乘。
向量加法就是向量里的每一个分量对应相加,比如两个维度为 n n n的向量 u = [ u 1 , u 2 , ⋅ , u n ] {\bf u}=[u_1,u_2,\cdot,u_n] u=[u1,u2,⋅,un]和 v = [ v 1 , v 2 , ⋅ , v n ] {\bf v}=[v_1,v_2,\cdot,v_n] v=[v1,v2,⋅,vn]相加,可以得到
u + v = [ u 1 + v 1 , u 2 + v 2 , … , u n + v n ] {\bf u}+{\bf v}=[u_1+v_1,u_2+v_2,\ldots,u_n+v_n] u+v=[u1+v1,u2+v2,…,un+vn]向量与标量相乘,则为向量里的每一个分量与该标量相乘, 例如维度为 n n n的向量 u \bf u u与标量 k k k 相乘,可以得到:
k u = [ k u 1 , k u 2 , … , k u n ] . k{\bf u}=[ku_1,ku_2,\ldots,ku_n]. ku=[ku1,ku2,…,kun].
现在我们来看向量空间。在现实世界里,三维空间就是我们非常熟悉的一个空间,从数学上说,这是一个三维的欧几里德空间。我们不难发现,这个三维空间具有如下特点
- 由很多(实际上是无穷多个)位置点组成;
- 这些点之间存在相对的关系;
- 可以在空间中定义长度、角度;
- 这个空间可以容纳运动,即从一个点到另一个点的移动(变换)。
因此,我们可以把向量看成是空间中的一个点,而向量的变换就是这个点在空间中的运动。所以说,向量空间就是一个集合,这个集合对向量的加法和数乘是封闭的。这意味着,这个空间内的向量,只要按照加法和数乘的方式运动,就会一直在这个空间里。所以,对加法和数乘运算封闭的向量空间也称为线性空间。
1.2 向量的内积
对于两个 n n n维向量 a = [ a 1 , a 2 , … , a n ] T {\bf a}=[a_1,a_2,\ldots,a_n]^{\rm T} a=[a1,a2,…,an]T和 b = [ b 1 , b 2 , … , b n ] T {\bf b}=[b_1,b_2,\ldots,b_n]^{\rm T} b=[b1,b2,…,bn]T,我们定义其内积(也称点乘)为
a ⋅ b = ⟨ a , b ⟩ = a 1 b 1 + a 2 b 2 + … + a n b n = ∑ i = 1 n a i b i , (1) \tag{1} \begin{aligned} {\bf a}\cdot{\bf b}=\langle {\bf a} ,{\bf b}\rangle=a_1b_1+a_2b_2+\ldots+a_nb_n =\sum_{i=1}^{n}a_ib_i, \end{aligned} a⋅b=⟨a,b⟩=a1b1+a2b2+…+anbn=i=1∑naibi,(1)注意两个向量的内积为一个标量。
下面我们来看看向量内积的物理意义。定义向量 c = a − b \bf c=a-b c=a−b,则有
c 2 = ( a − b ) 2 = a 2 + b 2 − 2 a ⋅ b \begin{aligned} {\bf c}^2=({\bf a}-{\bf b})^2={\bf a}^2+{\bf b}^2-2{\bf a}\cdot{\bf b} \end{aligned} c2=(a−b)2=a2+b2−2a⋅b进一步,根据余弦定理,我们可以得到
c 2 = a 2 + b 2 − 2 ∣ a ∣ ∣ b ∣ cos θ , \begin{aligned} {\bf c}^2={\bf a}^2+{\bf b}^2-2|{\bf a}||{\bf b}|\cos \theta, \end{aligned} c2=a2+b2−2∣a∣∣b∣cosθ,故有 a ⋅ b = ∣ a ∣ ∣ b ∣ cos θ {\bf a}\cdot{\bf b}=|{\bf a}||{\bf b}|\cos \theta a⋅b=∣a∣∣b∣cosθ,这里 θ \theta θ为向量 a {\bf a} a和 b {\bf b} b的夹角。
图1为 n = 2 n=2 n=2时两个向量点乘的示意图,从图中我们不难看出,两个向量的内积 a ⋅ b {\bf a}\cdot{\bf b} a⋅b,可以看成向量 b {\bf b} b在向量 a {\bf a} a方向上的投影( a 0 = ∣ b ∣ cos θ a_0=|{\bf b}|\cos \theta a0=∣b∣cosθ),与向量 a \bf a a在 a \bf a a方向上的乘积。
1.3 向量的范数
向量 a \bf a a的范数记为 ∥ a ∥ \|{\bf a}\| ∥a∥,定义为
∥ a ∥ = ( a ⋅ a ) 1 2 = ∑ i = 1 n a i 2 . (2) \tag{2} \|{\bf a}\|=({\bf a \cdot a})^{\frac{1}{2}}=\sqrt{\sum_{i=1}^na_i^2}. ∥a∥=(a⋅a)21=i=1∑nai2.(2)不难看出,向量的范数为其长度。
1.4 标准正交向量组
若向量 a \bf a a与 b \bf b b的夹角 cos θ = 90 ° \cos \theta=90\degree cosθ=90°,显然有 a ⋅ b = 0 \bf a \cdot b=0 a⋅b=0,我们称向量 a \bf a a与 b \bf b b正交。进一步,若 ∣ a ∣ = ∣ b ∣ = 1 |\bf a|=|b|=1 ∣a∣=∣b∣=1,则称向量 a \bf a a与 b \bf b b标准正交,此时向量 a \bf a a和 b \bf b b正交且其范数(长度)均为单位1。
若有 N N N个 n n n维向量 e i {\bf e}_i ei, i = 1 , 2 , … , n i=1,2,\ldots,n i=1,2,…,n,满足
e i ⋅ e j = { 1 , j = k 0 , j ≠ k (3) \tag{3} {\bf e}_i\cdot {\bf e}_j=\left\{\begin{aligned} 1,\ j=k\\ 0,\ j\ne k \end{aligned}\right. ei⋅ej={
1, j=k0, j=k(3)则称 { e i , i = 1 , 2 , … , N } \{ {\bf e}_i,\ i=1,2,\ldots,N\} {
ei, i=1,2,…,N}为标准(归一化)正交向量组。
1.5 Gram-Schmidt正交化
下面我们讨论如何将一组 n n n维向量 { v i , i = 1 , 2 , … , m } \{ {\bf v}_i,\ i=1,2,\ldots,m\} { vi, i=1,2,…,m},构造成标准正交向量。
- 第一步,从这组向量中任意选择一个向量,例如 v 1 \bf v_1