线性代数——向量的内积、范数、正交,向量组的线性相关性和向量空间

人工智能中的数学基础 专栏收录该内容
9 篇文章 0 订阅

向量的内积

  • 设有n维向量
    x = [ x 1 x 2 ⋮ x n ] , y = [ y 1 y 2 ⋮ y n ] , x=\begin{bmatrix} x_1\\ x_2\\ \vdots\\ x_n \end{bmatrix},y=\begin{bmatrix} y_1\\ y_2\\ \vdots\\ y_n \end{bmatrix}, x=x1x2xn,y=y1y2yn,
    令 [x, y] = x1y1 + x2y2 + … + xnyn
    [x, y]称为向量x与y的内积(或点积),也可写成<x, y>。
  • 矩阵形式:[x, y] = xTy

性质

  • [x, y] = [y, x]
  • [λx, y] = λ[x, y]
  • [x + y, z] = [x, z] + [y, z]
  • 当 x = 0时(零向量),[x, x] = 0;当 x ≠ 0 时,[x, x] > 0

柯西不等式

  • [x, y]2 ⩽ [x, x][y, y]
  • 证明:令z = x - λy,
    [z, z] = [x - λy, x - λy] = [x, x - λy] - [λy, x - λy] = [x, x] - λ[x, y] - λ[x, y] + λ2[y, y] = [y, y]λ2 - 2[x, y]λ + [x, x] ≥ 0
    可以看成一个关于λ的二次函数,二次函数大等于零,判别式Δ = b2 - 4ac = 4[x, y]2 - 4[y, y][x, x] ⩽ 0,即 [x, y]2 ⩽ [x, x][y, y]

范数


  • ∥ x ∥ = [ x , x ] = x 1 2 + x 2 2 + . . . + x n 2 \left \| x \right \|=\sqrt{\left [ x,x\right ]} = \sqrt{x_1^2+x_2^2+...+x_n^2} x=[x,x] =x12+x22+...+xn2
    ||x|| 称为 n 维向量 x 的长度(或范数,或模)
  • ||x|| = 1 时,称 x 为单位向量

性质

  • 非负性:当 x = 0时,||x|| = 0;当 x ≠ 0 时,||x|| > 0
  • 齐次性:||λx|| = |λ| ||x||
  • 三角不等式:||x+y|| ⩽ ||x|| + ||y||

相似度

  • 二维空间中:<x, y> = ||x|| ||y|| cosθ
    θ 为 x 与 y 的夹角
  • 推广到高维: cos ⁡ θ = [ x , y ] ∥ x ∥ ∥ y ∥ \cos \theta =\frac{\left [ x,y\right ]}{\left \| x \right \|\left \| y \right \|} cosθ=xy[x,y]
    0 ⩽ cos ⁡ 2 θ = [ x , y ] 2 ∥ x ∥ 2 ∥ y ∥ 2 = [ x , y ] 2 [ x , x ] [ y , y ] ⩽ 1 , 故 − 1 ⩽ cos ⁡ θ ⩽ 1 0\leqslant \cos ^2 \theta =\frac{\left [ x,y\right ]^2}{\left \| x \right \|^2\left \| y \right \|^2}=\frac{\left [ x,y\right ]^2}{\left [ x,x\right ]\left [ y,y\right ]}\leqslant 1,故-1\leqslant \cos \theta \leqslant 1 0cos2θ=x2y2[x,y]2=[x,x][y,y][x,y]211cosθ1
    用cosθ来衡量高维空间中两个样本(机器学习中的样本基本都是n维空间中的向量)的相似度的一种度量,不同于欧氏距离( d = ( x 1 − y 1 ) 2 + ( x 2 − y 2 ) 2 + . . . + ( x n − y n ) 2 ) d=\sqrt{(x_1-y_1)^2+(x_2-y_2)^2+...+(x_n-y_n)^2)} d=(x1y1)2+(x2y2)2+...+(xnyn)2) )。

向量组的线性相关性

  • 给定向量组A:a1,a2,…,am,如果存在不全为0的数k1,k2,…,km,使
    k 1 a 1 + k 2 a 2 + . . . + k m a m = 0 , k_1a_1+k_2a_2+...+k_ma_m=0, k1a1+k2a2+...+kmam=0,
    则称向量组A是线性相关的,否则称它线性无关
  • 线性相关,说明向量组A中至少有一个向量能由其余m-1各向量线性表示。
    如设k1≠0,于是 a 1 = − 1 k 1 ( k 2 a 2 + . . . + k m a m ) a_1=-\frac {1}{k_1}(k_2a_2+...+k_ma_m) a1=k11(k2a2+...+kmam),即a1能由a2,…,am线性表示。
  • 矩 阵 可 逆 ⇔ ∣ A ∣ ≠ 0 ⇔ R ( A ) = n ⇔ A ∼ r E ⇔ a 1 , a 2 , . . . , a m 线 性 无 关 矩阵可逆\Leftrightarrow |A| ≠ 0\Leftrightarrow R(A) = n\Leftrightarrow A\overset{r}{\sim}E\Leftrightarrow a_1,a_2,...,a_m线性无关 A=0R(A)=nArEa1,a2,...,am线

向量空间

  • 设V为n维向量的集合,如果V非空,且V对于向量的加法及乘数两种运算封闭,那么就称集合V为向量空间
  • 封闭是指,若a∈V,b∈V,则a+b∈V;若λ∈ R \mathbb{R} R,则λa∈V
  • n维向量的全体构成的集合 R n \mathbb{R}^n Rn叫做n维向量空间。
  • 设V为向量空间,如果r个向量a1,a2,…,ar∈V,且满足:
    (1)a1,a2,…,ar线性无关;
    (2)V中任一向量都可由a1,a2,…,ar线性表示,
    那么向量组a1,a2,…,ar就称为向量空间V的一个,r称为向量空间V的维数,并称V为r维向量空间。

正交

  • 当[x, y] = 0时,称向量x与y正交。
  • 若x = 0,则x与任何向量都正交
  • 定理:若n维向量a1,a2,…,ar是一组两两正交的非零向量,则a1,a2,…,ar线性无关
    证明: k 1 a 1 + k 2 a 2 + . . . + k m a m = 0 k_1a_1+k_2a_2+...+k_ma_m=0 k1a1+k2a2+...+kmam=0,两边同时点积a1,得k1 [a1, a1] + k2 × 0 + … + km × 0 = 0,即k1 [a1, a1] = 0,a1是非零向量,故k1 = 0。依此类推。

规范正交基

  • 设n维向量e1,e2,…,er是向量空间V( V ⊂ R n V\subset \mathbb{R}^n VRn)的一个基,如果e1,e2,…,er两两正交,且都是单位向量,则称e1,e2,…,er是V的一个规范正交基
  • 通常r = n
  • 规范正交基不惟一
  • 若e1,e2,…,er是V的一个规范正交基,那么V中任一向量a应能由e1,e2,…,er线性表示。
  • 系数求法:λn = [a, en]
    设a= λ1e1 + λ2e2 + … + λrer
    则[a, e1] = λ1[e1, e1] + λ2[e2, e1] + … + λr[er, e1] = λ1[e1, e1] = λ1
    以此类推。

施密特(Schimidt)正交化

  • 设a1,a2,…,ar是向量空间V的一个基,要求V的一个规范正交基,也就是要找一组两两正交的单位向量e1,e2,…,er,使e1,e2,…,er与a1,a2,…,ar等价。这样一个问题,称为把a1,a2,…,ar这个基规范正交化。
  • 首先正交化:
    b 1 = a 1 ; b_1=a_1; b1=a1;
    b 2 = a 2 − [ b 1 , a 2 ] [ b 1 , b 1 ] b 1 ; b_2=a_2-\frac{\left [ b_1,a_2 \right ]}{\left [ b_1,b_1 \right ]}b_1; b2=a2[b1,b1][b1,a2]b1;

    b r = a r − [ b 1 , a r ] [ b 1 , b 1 ] b 1 − [ b 2 , a r ] [ b 2 , b 2 ] b 2 − ⋯ − [ b r − 1 , a r ] [ b r − 1 , b r − 1 ] b r − 1 b_r=a_r-\frac{\left [ b_1,a_r \right ]}{\left [ b_1,b_1 \right ]}b_1-\frac{\left [ b_2,a_r \right ]}{\left [ b_2,b_2 \right ]}b_2-\cdots-\frac{\left [ b_{r-1},a_r \right ]}{\left [ b_{r-1},b_{r-1} \right ]}b_{r-1} br=ar[b1,b1][b1,ar]b1[b2,b2][b2,ar]b2[br1,br1][br1,ar]br1
  • 此时b1,b2,…,br两两正交,且b1,b2,…,br与a1,a2,…,ar等价。
  • 然后把它们规范化(单位化):
    e 1 = 1 ∥ b 1 ∥ b 1 e_1=\frac{1}{\left \| b_1 \right \|}b_1 e1=b11b1
    e 2 = 1 ∥ b 2 ∥ b 2 e_2=\frac{1}{\left \| b_2 \right \|}b_2 e2=b21b2

    e r = 1 ∥ b r ∥ b r e_r=\frac{1}{\left \| b_r \right \|}b_r er=br1br
  • 这就是V的一个规范正交基。
  • 上述从线性无关向量组a1,a2,…,ar导出正交向量组b1,b2,…,br的过程称为施密特正交化过程。它不仅满足b1,b2,…,br与a1,a2,…,ar等价,还满足对任何k(1⩽k⩽r),b1,b2,…,bk与a1,a2,…,ak等价。

正交矩阵

  • 如果n阶矩阵A满足ATA = E(即A-1 = AT),那么称A为正交矩阵。
    用A的列向量表示,即
    [ a 1 T a 2 T ⋮ a n T ] [ a 1 a 2 ⋯ a n ] = E \begin{bmatrix} a_1^T\\ a_2^T\\ \vdots\\ a_n^T \end{bmatrix}\begin{bmatrix} a_1 & a_2 & \cdots & a_n \end{bmatrix}=E a1Ta2TanT[a1a2an]=E
    亦即
    a i T a j = { 1 , 当  i = j 0 , 当  i ≠ j a_i^Ta_j=\begin{cases} 1, & \text{当 } i=j \\ 0, & \text{当 } i\neq j \end{cases} aiTaj={1,0, i=j i=j
    说明A为正交阵的充分必要条件是A的列向量都是单位向量,且两两正交。
  • 因为ATA = E与AAT = E等价,所以上述结论对A的行向量亦成立。
  • n阶正交阵A的n个列(行)向量构成向量空间 R n \mathbb{R}^n Rn的一个规范正交基。
  • 若A为正交阵,则A-1=AT也是正交阵,且|A|=1或-1
  • 若A和B都是正交阵,则AB也是正交阵。

正交变换

  • 若P为正交矩阵,则线性变换y = Px称为正交变换
    ∥ y ∥ = y T y = x T P T P x = x T x = ∥ x ∥ \left \| y \right \|=\sqrt{y^Ty} = \sqrt{x^TP^TPx}=\sqrt{x^Tx}=\left \| x \right \| y=yTy =xTPTPx =xTx =x
    说明正交变换向量长度不变。
  • 1
    点赞
  • 0
    评论
  • 2
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 岁月 设计师:pinMode 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值