矩阵论总结(一)

【本文基于线性代数知识,将线性代数的内容扩展到复数域,包含线性代数的内容均已省略】

矩阵的相似变换

J o r d a n \rm Jordan Jordan标准形

并不是所有矩阵都可以相似于对角阵,但所有矩阵都可相似于一个 J o r d a n \rm Jordan Jordan矩阵。

A ∈ C n × n \pmb A\in \pmb C^{n\times n} ACn×n,则 A \pmb A A与一个 J o r d a n \rm Jordan Jordan矩阵 J \pmb J J相似,即存在 P ∈ C n n × n \pmb P \in \pmb C_n^{n \times n} PCnn×n,使得 P − 1 A P = J \pmb P^{-1} \pmb A \pmb P = \pmb J P1AP=J。这个 J o r d a n \rm Jordan Jordan矩阵 J \pmb J J J o r d a n \rm Jordan Jordan块的排列次序外由 A \pmb A A唯一决定,称 J \pmb J J A \pmb A A Jordan \text{Jordan} Jordan标准形。
J = [ J 1 J 2 ⋱ J s ] , J i = [ λ i 1 λ i ⋱ ⋱ 1 λ i ] r i × r i \pmb J = \begin{bmatrix} \pmb J_1 &&& \\ & \pmb J_2 && \\ &&\ddots& \\ &&&\pmb J_s \end{bmatrix} ,\pmb J_i = \begin{bmatrix} \lambda_i &1&& \\ & \lambda_i &\ddots& \\ &&\ddots&1 \\ &&&\lambda_i \end{bmatrix}_{r_i \times r_i} J= J1J2Js ,Ji= λi1λi1λi ri×ri
J o r d a n \rm Jordan Jordan求解方法为:

  • 特征向量法

    如果 λ i \lambda_i λi A \pmb A A的单特征值,则对应一阶 J o r d a n \rm Jordan Jordan J i = ( λ i ) \pmb J_i=(\lambda_i) Ji=(λi);如果 λ i \lambda_i λi A \pmb A A r i r_i ri重特征值,则对应 λ i \lambda_i λi有几个线性无关的特征向量,就有几个以 λ i \lambda_i λi为对角元素的 J o r d a n \rm Jordan Jordan块,这些 J o r d a n \rm Jordan Jordan块的阶数之和等于 r i r_i ri

  • 初等变换法

    化初等变换特征矩阵 λ I − A \lambda \pmb I-\pmb A λIA S m i t h \rm Smith Smith标准形,即
    S ( λ ) = [ d 1 ( λ ) d 2 ( λ ) ⋱ d r ( λ ) 0 ⋱ 0 ] \pmb S(\lambda) = \begin{bmatrix} d_1(\lambda) &&&&&&\\ &d_2(\lambda)&&&&&\\ &&\ddots&&&& \\ &&&d_r(\lambda)&&&\\ &&&&0&&\\ &&&&&\ddots&\\ &&&&&&0\\ \end{bmatrix} S(λ)= d1(λ)d2(λ)dr(λ)00
    其中 r r r为矩阵的秩, d i ( λ ) d_i(\lambda) di(λ)被称为 A \pmb A A不变因子 d i ( λ ) d_i(\lambda) di(λ)都是首一多项式,且
    d i ( λ ) ∣ d i + 1 ( λ ) d_i(\lambda) \mid d_{i+1}(\lambda) di(λ)di+1(λ)
    A \pmb A A的每个次数大于零的不变因子 d i ( λ ) d_i(\lambda) di(λ)分解为互不相同的一次因式方幂的乘积,这些一次因式的方幂称为 A \pmb A A初等因子,设 A \pmb A A的全部初等因子为
    ( λ − λ 1 ) r 1 , ( λ − λ 2 ) r 2 , ⋯   , ( λ − λ s ) r s (\lambda-\lambda_1)^{r_1},(\lambda-\lambda_2)^{r_2},\cdots,(\lambda-\lambda_s)^{r_s} (λλ1)r1,(λλ2)r2,,(λλs)rs
    其中 λ 1 , λ 2 , ⋯   , λ s \lambda_1,\lambda_2,\cdots,\lambda_s λ1,λ2,,λs可能是相同的, r 1 + r 2 + ⋯ + r s = n r_1+r_2+\cdots+r_s = n r1+r2++rs=n

    写出每个初等因子 ( λ − λ i ) r i (\lambda-\lambda_i)^{r_i} (λλi)ri对应的 J o r d a n \rm Jordan Jordan块,其阶为 r i r_i ri,对角元素为 λ i \lambda_i λi

  • 行列式因子法

    λ \lambda λ矩阵 A ( λ ) \pmb A(\lambda) A(λ)的秩为 r r r,对于正整数 k k k A ( λ ) \pmb A(\lambda) A(λ)的全部 k k k阶子式的首一最大公因式 D k ( λ ) D_k(\lambda) Dk(λ)称为 A ( λ ) \pmb A(\lambda) A(λ) k k k阶行列式因子。

    其中 D k ( λ ) = d 1 ( λ ) d 2 ( λ ) ⋯ d k ( λ ) D_k(\lambda) =d_1(\lambda)d_2(\lambda) \cdots d_k(\lambda) Dk(λ)=d1(λ)d2(λ)dk(λ),则
    d 1 ( λ ) = D 1 ( λ ) , d 2 ( λ ) = D 2 ( λ ) D 1 ( λ ) , ⋯   , d r ( λ ) = D r ( λ ) D r − 1 ( λ ) d_1(\lambda) =D_1(\lambda),d_2(\lambda) = \frac{D_2(\lambda)}{D_1(\lambda)},\cdots,d_r(\lambda) = \frac{D_r(\lambda)}{D_{r-1}(\lambda)} d1(λ)=D1(λ),d2(λ)=D1(λ)D2(λ),,dr(λ)=Dr1(λ)Dr(λ)
    根据 k k k阶行列式因子,可求出初等因子,后面的过程与初等变换类似

求出 J o r d a n \rm Jordan Jordan矩阵后,对应的相似变换矩阵 P = ( p 1 , p 2 , ⋯   , p n ) \pmb P=(\pmb p_1,\pmb p_2,\cdots,\pmb p_n) P=(p1,p2,,pn) P − 1 A P = J → A P = P J \pmb P^{-1}\pmb A \pmb P =\pmb J \rightarrow \pmb A \pmb P = \pmb P \pmb J P1AP=JAP=PJ得到(保证方程左边是 I − A I-A IA,与前面的特征矩阵对应,否则可能出错)。由于重特征值对应的特征向量并不都是线性不相关的,这里涉及到广义特征向量,求解时需要依赖于其他特征向量。

当依赖的特征向量对应的特征值的重数 ≥ 3 \geq3 3时,为了避免无解的情况,一般要取依赖的特征向量为特征值对应的所有线性无关的特征向量的线性组合,分析 k k k取何值方程有解,可以求出对应的广义特征向量。最后还需要修改依赖的特征向量的取值,再计算广义特征向量

应用: J o r d a n \rm Jordan Jordan块的幂
J i = [ λ i 1 λ i ⋱ ⋱ 1 λ i ] r i × r i \pmb J_i = \begin{bmatrix} \lambda_i &1&& \\ & \lambda_i &\ddots& \\ &&\ddots&1 \\ &&&\lambda_i \end{bmatrix}_{r_i \times r_i} Ji= λi1λi1λi ri×ri

J i k = [ λ i k C k 1 λ i k − 1 C k 2 λ i k − 2 ⋯ C k r i − 1 λ i k − r i + 1 λ i k C k 1 λ i k − 1 ⋯ C k r i − 2 λ i k − r i + 2 ⋱ ⋮ ⋱ C k 1 λ i k − 1 λ i k ] r i × r i = [ λ i k 1 1 ! ( λ k ) ′ 1 2 ! ( λ k ) ′ ′ ⋯ 1 ( r i − 1 ) ! ( λ k ) ( r i − 1 ) λ i k 1 1 ! ( λ k ) ′ ⋯ 1 ( r i − 2 ) ! ( λ k ) ( r i − 2 ) ⋱ ⋮ ⋱ 1 1 ! ( λ k ) ′ λ k ] λ = λ i \begin{aligned} \pmb J_i^k &= \begin{bmatrix} \lambda_i^k &C_k^1\lambda_i^{k-1} &C_k^2\lambda_i^{k-2} &\cdots &C_k^{r_i-1}\lambda_i^{k-r_i+1} \\ &\lambda_i^k &C_k^1\lambda_i^{k-1} &\cdots &C_k^{r_i-2}\lambda_i^{k-r_i+2} \\ &&&\ddots &\vdots \\ &&&\ddots &C_k^{1}\lambda_i^{k-1}\\ &&&& \lambda_i^k \end{bmatrix}_{r_i \times r_i} \\ &= \begin{bmatrix} \lambda_i^k &\cfrac{1}{1!}(\lambda^k)^\prime &\cfrac{1}{2!}(\lambda^k)^{\prime \prime} &\cdots &\cfrac{1}{(r_i-1)!}(\lambda^k)^{(r_i-1)} \\ &\lambda_i^k &\cfrac{1}{1!}(\lambda^k)^\prime &\cdots &\cfrac{1}{(r_i-2)!}(\lambda^k)^{(r_i-2)} \\ &&&\ddots &\vdots \\ &&&\ddots&\cfrac{1}{1!}(\lambda^k)^\prime\\ &&&&\lambda^k \end{bmatrix} \end{aligned}_{\lambda =\lambda_i} Jik= λikCk1λik1λikCk2λik2Ck1λik1Ckri1λikri+1Ckri2λikri+2Ck1λik1λik ri×ri= λik1!1(λk)λik2!1(λk)′′1!1(λk)(ri1)!1(λk)(ri1)(ri2)!1(λk)(ri2)1!1(λk)λk λ=λi

H a m i l t o n − C a y l e y \rm Hamilton-Cayley HamiltonCayley定理

  • H a m i l t o n − C a y l e y \rm Hamilton-Cayley HamiltonCayley:设 A ∈ C n × n , ψ ( λ ) = det ⁡ ( λ I − A ) \pmb A \in \pmb C^{n \times n},\psi(\lambda) = \det (\lambda \pmb I - \pmb A) ACn×n,ψ(λ)=det(λIA),则 ψ ( A ) = O \psi(\pmb A) = \pmb O ψ(A)=O

  • f ( λ ) f(\lambda) f(λ)是多项式,如果有 f ( A ) = O f(\pmb A) = \pmb O f(A)=O,则称 f ( λ ) f(\lambda) f(λ) A \pmb A A零化多项式

  • A \pmb A A的零化多项式中,次数最低的首一多项式称为 A \pmb A A最小多项式,记为 m A ( λ ) m_A(\lambda) mA(λ)

  • A \pmb A A的最小多项式 m A ( λ ) m_A(\lambda) mA(λ)整除 A \pmb A A的任一零化多项式,且最小多项式是唯一的

  • ψ ( λ ) = det ⁡ ( λ I − A ) \psi(\lambda) = \det (\lambda \pmb I-\pmb A) ψ(λ)=det(λIA),设 D n − 1 ( λ ) D_{n-1}(\lambda) Dn1(λ) λ I − A \lambda \pmb I-\pmb A λIA n − 1 n-1 n1阶行列式因子,则
    m A ( λ ) = ψ ( λ ) D n − 1 ( λ ) m_A(\lambda) = \frac{\psi(\lambda)}{D_{n-1}(\lambda)} mA(λ)=Dn1(λ)ψ(λ)

  • 相似矩阵有相同的最小多项式

  • λ 1 , λ 2 , ⋯   , λ t \lambda_1,\lambda_2,\cdots,\lambda_t λ1,λ2,,λt A \pmb A A的所有互不相同的特征值,则

    m A ( λ ) = ( λ − λ 1 ) m 1 ( λ − λ 2 ) m 2 ⋯ ( λ − λ t ) m t m_A(\lambda) = (\lambda-\lambda_1)^{m_1}(\lambda-\lambda_2)^{m_2} \cdots (\lambda-\lambda_t)^{m_t} mA(λ)=(λλ1)m1(λλ2)m2(λλt)mt
    其中 m i m_i mi A \pmb A A J o r d a n \rm Jordan Jordan标准形 J \pmb J J中含 λ i \lambda_i λi J o r d a n \rm Jordan Jordan块的最高阶数

向量的内积

x = ( ξ 1 , ξ 2 , ⋯   , ξ n ) T ∈ C n , y = ( η 1 , η 2 , ⋯   , η n ) T ∈ C n \pmb x=(\xi_1,\xi_2,\cdots,\xi_n)^T \in C^n,\pmb y=(\eta_1,\eta_2,\cdots,\eta_n)^T \in C^n x=(ξ1,ξ2,,ξn)TCn,y=(η1,η2,,ηn)TCn,记向量 x \pmb x x y \pmb y y的内积为
( x , y ) = ∑ k = 1 n ξ k η ˉ k = y H x (\pmb x,\pmb y) = \sum_{k=1}^n \xi_k \bar{\eta}_k = \pmb y^H \pmb x (x,y)=k=1nξkηˉk=yHx

  • ( x , y ) = ( y , x ) ‾ (\pmb x,\pmb y) = \overline{(\pmb y,\pmb x)} (x,y)=(y,x)
  • ( λ x , y ) = λ ( x , y ) , ( x , λ y ) = λ ‾ ( x , y ) (\lambda \pmb x,\pmb y) = \lambda(\pmb x,\pmb y),(\pmb x,\lambda \pmb y) = \overline \lambda (\pmb x,\pmb y) (λx,y)=λ(x,y),(x,λy)=λ(x,y)
  • ( x + y , z ) = ( x , z ) + ( y , z ) (\pmb x + \pmb y,\pmb z) = (\pmb x,\pmb z) + (\pmb y,\pmb z) (x+y,z)=(x,z)+(y,z)
  • ( x , x ) ≥ 0 (\pmb x,\pmb x) \geq 0 (x,x)0
  • Cauchy-Schwarz : ( x , y ) ( y , x ) ≤ ( x , x ) ( y , y ) \text{Cauchy-Schwarz}:(\pmb x,\pmb y) (\pmb y,\pmb x) \leq (\pmb x,\pmb x) (\pmb y,\pmb y) Cauchy-Schwarz:(x,y)(y,x)(x,x)(y,y)

对向量 x = ( ξ 1 , ξ 2 , ⋯   , ξ n ) T ∈ C n , y = ( η 1 , η 2 , ⋯   , η n ) T ∈ C n \pmb x=(\xi_1,\xi_2,\cdots,\xi_n)^T \in C^n,\pmb y=(\eta_1,\eta_2,\cdots,\eta_n)^T \in C^n x=(ξ1,ξ2,,ξn)TCn,y=(η1,η2,,ηn)TCn应用 C a u c h y − S c h w a r z \rm Cauchy-Schwarz CauchySchwarz不等式,可得
( ∑ k = 1 n ∣ ξ k ∣ ∣ η k ∣ ) 2 ≤ ( ∑ k = 1 n ∣ ξ k ∣ 2 ) ( ∑ k = 1 n ∣ η k ∣ 2 ) \bigg(\sum_{k=1}^n \mid \xi_k\mid \mid \eta_k|\bigg)^2 \leq \bigg(\sum_{k=1}^n \mid \xi_k\mid ^2\bigg) \bigg(\sum_{k=1}^n \mid \eta_k\mid ^2\bigg) (k=1nξk∣∣ηk)2(k=1nξk2)(k=1nηk2)

向量的范数

x = ( ξ 1 , ξ 2 , ⋯   , ξ n ) T ∈ C n \pmb x =(\xi_1,\xi_2,\cdots,\xi_n)^T \in C^n x=(ξ1,ξ2,,ξn)TCn,记向量 x \pmb x x长度2范数
∥ x ∥ 2 = ( x , x ) = ∑ k = 1 n ∣ ξ k ∣ 2 \parallel \pmb x \parallel_2 =\sqrt{(\pmb x,\pmb x) } = \sqrt{\sum_{k=1}^n \mid\xi_k\mid^2} x2=(x,x) =k=1nξk2

  • 向量的长度具有以下性质:

    • 非负性: x ≠ 0 ⇒ ∥ x ∥ 2 > 0 , x = 0 ⇒ ∥ x ∥ 2 = 0 \pmb x \neq 0 \Rightarrow\parallel\pmb x \parallel_2>0,\pmb x = 0 \Rightarrow \parallel \pmb x \parallel _2=0 x=0⇒∥x2>0,x=0⇒∥x2=0

    • 齐次性: ∥ λ x ∥ 2 = ∣ λ ∣ ∥ x ∥ 2 \parallel \lambda \pmb x \parallel _2 = \mid \lambda\mid \parallel \pmb x \parallel _2 λx2=∣λ∣∥x2

    • 三角不等式: ∥ x + y ∥ 2 ≤ ∥ x ∥ 2 + ∥ y ∥ 2 \parallel \pmb x + \pmb y \parallel _2 \leq \parallel \pmb x \parallel _2 + \parallel \pmb y \parallel _2 x+y2≤∥x2+y2

  • ∥ x ∥ 2 = 1 \parallel \pmb x \parallel _2=1 x2=1时,称 x \pmb x x单位向量,当 x ≠ 0 \pmb x\neq0 x=0时, x ∥ x ∥ 2 \frac{\pmb x}{ \parallel \pmb x \parallel _2} x2x是单位向量,称之为将向量 x \pmb x x单位化规范化,当 ( x , y ) = 0 (\pmb x,\pmb y)=0 (x,y)=0时,称向量 x \pmb x x y \pmb y y正交

  • x 1 , x 2 , ⋯   , x s ∈ C n \pmb x_1,\pmb x_2,\cdots,\pmb x_s \in \pmb C^n x1,x2,,xsCn是一组两两正交的非零向量,则 x 1 , x 2 , ⋯   , x s \pmb x_1,\pmb x_2,\cdots,\pmb x_s x1,x2,,xs线性无关

  • S c h m i d t \rm Schmidt Schmidt正交化方法: y j = x j − ( x j , y 1 ) ( y 1 , y 1 ) y 1 − ⋯ − ( x j , y j − 1 ) ( y j − 1 , y j − 1 ) y j − 1 , ( j = 2 , ⋯   , s ) \pmb y_j = \pmb x_j - \cfrac{(\pmb x_j,\pmb y_1)}{(\pmb y_1,\pmb y_1)}\pmb y_1 - \cdots - \cfrac{(\pmb x_j,\pmb y_{j-1})}{(\pmb y_{j-1},\pmb y_{j-1})}\pmb y_{j-1},(j=2,\cdots,s) yj=xj(y1,y1)(xj,y1)y1(yj1,yj1)(xj,yj1)yj1,(j=2,,s)

  • 酉矩阵 A H A = I    ⟺    A − 1 = A H \pmb A^H \pmb A = \pmb I \iff \pmb A^{-1} = \pmb A^H AHA=IA1=AH

    • A \pmb A A是酉矩阵 ⇒ A − 1 \Rightarrow \pmb A^{-1} A1也是酉矩阵
    • A , B \pmb A,\pmb B A,B是酉矩阵 ⇒ A B \Rightarrow \pmb {AB} AB也是酉矩阵
    • A \pmb A A是酉矩阵 ⇒ ∣ det ⁡ A ∣ = 1 \Rightarrow \mid \det \pmb A\mid = 1 ⇒∣detA∣=1
    • A \pmb A A是酉矩阵    ⟺    \iff 它的 n n n个列向量是两两正交的单位向量

酉相似下的标准形

A ∈ C n × n \pmb A \in \pmb C^{n \times n} ACn×n,则 A \pmb A A酉相似于上三角矩阵 T \pmb T T,即存在 n n n阶酉矩阵 U \pmb U U,使得
U − 1 A U = U H A U = T (Schur) \pmb U^{-1} \pmb A \pmb U = \pmb U^{H} \pmb A \pmb U = \pmb T \tag{Schur} U1AU=UHAU=T(Schur)

正规矩阵

  • A \pmb A A满足 A H A = A A H \pmb A^H \pmb A = \pmb A \pmb A^H AHA=AAH,则称 A \pmb A A正规矩阵,常见的有酉矩阵、正交矩阵, H e r m i t e \rm Hermite Hermite矩阵( A H = A \pmb A^H = \pmb A AH=A),实对称矩阵、反 H e r m i t e \rm Hermite Hermite矩阵( A H = − A \pmb A^H = -\pmb A AH=A)、实反对称矩阵、对角矩阵
  • A \pmb A A酉相似于对角矩阵的充要条件是 A \pmb A A为正规矩阵
  • H e r m i t e \rm Hermite Hermite矩阵的特征值均为实数,反 H e r m i t e \rm Hermite Hermite矩阵的特征值为零或纯虚数
  • 实对称矩阵的特征值均为实数,实反对称矩阵的特征值为零或纯虚数
  • A \pmb A A是正规矩阵, λ \lambda λ A \pmb A A的特征值, x \pmb x x是对应 λ \lambda λ的特征向量,则 λ ‾ \overline \lambda λ A H \pmb A^H AH的特征值,对应 λ ‾ \overline{\lambda} λ的特征向量仍为 x \pmb x x
  • A \pmb A A是正规矩阵, λ , μ \lambda,\mu λ,μ A \pmb A A的特征值, x , y \pmb x,\pmb y x,y是对应的特征向量,如果 λ ≠ μ \lambda \neq \mu λ=μ,则 x \pmb x x y \pmb y y正交。
  • n n n阶正规矩阵 A \pmb A A酉相似于对角矩阵的具体步骤
    • 求出 A \pmb A A的全部特征值,设 λ 1 , λ 2 , ⋯   , λ s \lambda_1,\lambda_2,\cdots,\lambda_s λ1,λ2,,λs A \pmb A A的互不相同的特征值,其重数分别为 r 1 , r 2 , ⋯   , r s , r 1 + r 2 + ⋯ + r s = n r_1,r_2,\cdots,r_s,r_1+r_2+\cdots+r_s=n r1,r2,,rs,r1+r2++rs=n
    • 对于特征值 λ i \lambda_i λi,求出对应的 r i r_i ri个线性无关的特征向量 p i 1 , p i 2 , ⋯   , p i r i \pmb p_{i1},\pmb p_{i2},\cdots,\pmb p_{i{r_i}} pi1,pi2,,piri
    • S c h m i d t \rm Schmidt Schmidt正交化方法将 p i 1 , p i 2 , ⋯   , p i r i \pmb p_{i1},\pmb p_{i2},\cdots,\pmb p_{i{r_i}} pi1,pi2,,piri正交化,再单位化得 u i 1 , u i 2 , ⋯   , u i r i \pmb u_{i1},\pmb u_{i2},\cdots,\pmb u_{i{r_i}} ui1,ui2,,uiri,则酉矩阵
      U = ( u 11 , ⋯   , u 1 r 1 , u 21 , ⋯   , u 2 r 2 , ⋯   , u s 1 , ⋯   , u s r s ) \pmb U = (\pmb u_{11},\cdots,\pmb u_{1r_{1}},\pmb u_{21},\cdots,\pmb u_{2r_{2}},\cdots,\pmb u_{s1},\cdots,\pmb u_{sr_{s}}) U=(u11,,u1r1,u21,,u2r2,,us1,,usrs)
      U − 1 A U = U H A U = Λ = d i a g ( λ 1 I r 1 , λ 2 I r 2 , ⋯   , λ s I r s ) \pmb U^{-1} \pmb A \pmb U = \pmb U^{H} \pmb A \pmb U = \pmb \Lambda = diag(\lambda_1 \pmb I_{r_1},\lambda_2 \pmb I_{r_2},\cdots,\lambda_s \pmb I_{r_s}) U1AU=UHAU=Λ=diag(λ1Ir1,λ2Ir2,,λsIrs)

H e r m i t e \rm Hermite Hermite正定矩阵

  • A ∈ C n × n \pmb A \in C^{n\times n} ACn×n H e r m i t e \rm Hermite Hermite矩阵,如果 ∀ x ∈ C n , x ≠ 0 \forall \pmb x \in \pmb C^n,x\neq 0 xCn,x=0都有
    x H A x > 0 ( x H A x ≥ 0 ) \pmb x^H \pmb A \pmb x >0(\pmb x^H \pmb A \pmb x \geq 0) xHAx>0(xHAx0)
    则称 A \pmb A A H e r m i t e \rm Hermite Hermite正定矩阵(半正定矩阵)
    A \pmb A A H e r m i t e \rm Hermite Hermite矩阵,则下列条件等价

    • A \pmb A A H e r m i t e \rm Hermite Hermite正定矩阵(半正定矩阵)
    • A \pmb A A的特征值全为正实数(非负实数)
    • 存在可逆矩阵(矩阵) P ∈ C n n × n \pmb P \in \pmb C^{n\times n}_n PCnn×n,使得 A = P H P \pmb A = \pmb P^H \pmb P A=PHP
    • n n n个顺序主子式全为正 Δ k = d e t A k ≥ 0 \Delta_k = det A_k \geq 0 Δk=detAk0(对半正定矩阵不成立)
  • A ∈ C n × n \pmb A \in \pmb C^{n \times n} ACn×n

    • A H A \pmb A^H \pmb A AHA A A H \pmb A \pmb A^H AAH的特征值全为非负实数
    • A H A \pmb A^H \pmb A AHA A A H \pmb A \pmb A^H AAH的非零特征值相同
    • r a n k ( A H A ) = r a n k ( A A H ) = r a n k ( A ) rank(\pmb A^H \pmb A) = rank(\pmb A \pmb A^H) = rank(\pmb A) rank(AHA)=rank(AAH)=rank(A)

范数理论

向量范数

向量范数是指: ∀ x ∈ C n \forall \pmb x \in \pmb C^n xCn都有一个实数 ∥ x ∥ \parallel \pmb x \parallel x与之对应,且满足向量范数三公理

  • 非负性: x ≠ 0 ⟹ ∥ x ∥ > 0 , x = 0 ⟹ ∥ x ∥ = 0 \pmb x \neq \pmb 0 \Longrightarrow \parallel \pmb x \parallel >0,\pmb x = \pmb 0 \Longrightarrow \parallel \pmb x \parallel = 0 x=0⟹∥x∥>0,x=0⟹∥x∥=0
  • 齐次性: ∀ λ ∈ C ⟹ ∥ λ x ∥ = ∣ λ ∣ ∥ x ∥ \forall \lambda \in \pmb C \Longrightarrow \parallel \lambda \pmb x \parallel = \mid \lambda\mid \parallel \pmb x \parallel λC⟹∥λx∥=∣λ∣∥x
  • 三角不等式: ∀ x , y ∈ C n ⟹ ∥ x + y ∥ ≤ ∥ x ∥ + ∥ y ∥ \forall \pmb x ,\pmb y \in \pmb C^n \Longrightarrow \parallel \pmb x +\pmb y \parallel \leq \parallel \pmb x \parallel + \parallel \pmb y \parallel x,yCn⟹∥x+y∥≤∥x+y

向量范数类型

范数名称范数定义
向量 1 1 1范数 ∥ x ∥ 1 = ∑ k = 1 n ∣ ξ k ∣ \parallel \pmb x \parallel_1 = \sum_{k=1}^n \mid \xi_k\mid x1=k=1nξk
向量 2 2 2范数 ∥ x ∥ 2 = ∑ k = 1 n ∣ ξ k ∣ 2 = x H x \parallel \pmb x \parallel_2 = \sqrt{\sum_{k=1}^n \mid \xi_k\mid ^2} = \sqrt{\pmb x^H \pmb x} x2=k=1nξk2 =xHx
向量 ∞ \infty 范数 ∥ x ∥ ∞ = max ⁡ k ∣ ξ k ∣ \parallel\pmb x\parallel_\infty = \max_k \mid \xi_k\mid x=maxkξk
向量 p p p范数 ∥ x ∥ p = ( ∑ k = 1 n ∣ ξ k ∣ p ) 1 p \parallel \pmb x \parallel_p = (\sum_{k=1}^n \mid \xi_k \mid ^p)^{\frac1p} xp=(k=1nξkp)p1
  • 向量 2 2 2范数的酉不变性: ∀ x ∈ C n \forall \pmb x \in \pmb C^n xCn和任意的 n n n阶酉矩阵 U \pmb U U,有
    ∥ U x ∥ 2 = ∥ x ∥ 2 \parallel \pmb U \pmb x \parallel_2 = \parallel \pmb x \parallel_2 Ux2=∥x2
  • lim ⁡ p → + ∞ ∥ x ∥ p = ∥ x ∥ ∞ \lim_{p \rightarrow +\infty} \parallel \pmb x \parallel_p = \parallel \pmb x \parallel_\infty limp+xp=∥x
  • 从已知范数 ∥ ⋅ ∥ a \parallel \cdot \parallel_a a构建新的范数: ∥ x ∥ b = ∥ A x ∥ a \parallel \pmb x \parallel_b = \parallel \pmb A \pmb x \parallel_a xb=∥Axa
  • 加权范数/椭圆范数: ∥ x ∥ A = x H A x \parallel \pmb x \parallel_{\pmb A} = \sqrt{\pmb x^H \pmb A \pmb x} xA=xHAx A \pmb A A n n n H e r m i t e \rm Hermite Hermite正定矩阵

向量范数的等价

∥ ⋅ ∥ a \parallel \cdot \parallel_a a ∥ ⋅ ∥ b \parallel \cdot \parallel_b b C n \pmb C^n Cn上的两种范数,如果 ∃ α , β \exists \alpha,\beta α,β,使 ∀ x ∈ C n \forall \pmb x \in \pmb C^n xCn都有
α ∥ x ∥ b ≤ ∥ x ∥ a ≤ β ∥ x ∥ b \alpha \parallel \pmb x \parallel_b \leq \parallel \pmb x \parallel_a \leq \beta \parallel \pmb x \parallel_b αxb≤∥xaβxb
则称两个向量范数等价

  • C n \pmb C^n Cn上的所有向量范数等价
  • 向量范数的等价性在研究向量序列的收敛问题上有极大的作用。
    给定 C n \pmb C^n Cn中的向量序列 { x ( k ) } \{\pmb x^{(k)}\} {x(k)},向量序列 { x ( k ) } \{\pmb x^{(k)}\} {x(k)}收敛于 x \pmb x x的充分必要条件是,对于 C n \pmb C^n Cn上的任意一种向量范数 ∥ ⋅ ∥ \parallel \cdot \parallel ,都有 lim ⁡ k → + ∞ ∥ x ( k ) − x ∥ = 0 \lim_{ k \rightarrow+\infty} \parallel \pmb x^{(k)} - \pmb x \parallel = 0 limk+x(k)x∥=0

矩阵范数

方阵的范数

对任意 A ∈ C n × n \pmb A \in \pmb C^{n\times n} ACn×n都有一个实数 ∥ A ∥ \parallel \pmb A \parallel A与之对应,且满足

  • 非负性: A ≠ O ⇒ ∥ A ∥ > 0 , A = O ⇒ ∥ A ∥ = 0 \pmb A \neq \pmb O \Rightarrow \parallel \pmb A \parallel >0, \pmb A = \pmb O \Rightarrow \parallel \pmb A \parallel = 0 A=O⇒∥A∥>0,A=O⇒∥A∥=0
  • 齐次性: ∥ λ A ∥ = ∣ λ ∣ ∥ A ∥ \parallel \lambda \pmb A \parallel = \mid \lambda \mid \parallel \pmb A \parallel λA∥=∣λ∣∥A
  • 三角不等式: ∥ A + B ∥ ≤ ∥ A ∥ + ∥ B ∥ \parallel \pmb A + \pmb B \parallel \leq \parallel \pmb A \parallel + \parallel \pmb B \parallel A+B∥≤∥A+B
  • 相容性: ∥ A B ∥ ≤ ∥ A ∥ ∥ B ∥ \parallel \pmb A \pmb B \parallel \leq \parallel \pmb A \parallel \parallel \pmb B \parallel AB∥≤∥A∥∥B

类比向量范数,推广到矩阵范数,有

范数名称范数定义
矩阵的 m 1 \pmb m_1 m1范数 ∥ A ∥ m 1 = ∑ i = 1 n ∑ j = 1 n ∣ a i j ∣ \parallel \pmb A \parallel_{m_1} = \sum_{i=1}^n \sum_{j=1}^n\mid a_{ij} \mid Am1=i=1nj=1naij
矩阵的 F \pmb F F范数 ∥ A ∥ F = ∑ i = 1 ∑ j = 1 ∣ a i j ∣ 2 = t r ( A H A ) \parallel \pmb A \parallel_F = \sqrt{\sum_{i=1}\sum_{j=1}\mid a_{ij}\mid ^2} = \sqrt{tr(\pmb A^H \pmb A)} AF=i=1j=1aij2 =tr(AHA)
矩阵的 m ∞ \pmb m_{\infty} m范数 ∥ A ∥ m ∞ = n max ⁡ i , j ∣ a i j ∣ \parallel \pmb A \parallel_{m_{\infty}} = n \max_{i,j} \mid a_{ij} \mid Am=nmaxi,jaij
  • F F F范数的酉不变性: ∥ U A ∥ F = ∥ A V ∥ F = ∥ U A V ∥ F = ∥ A ∥ F \parallel \pmb U \pmb A \parallel_F = \parallel \pmb A \pmb V \parallel_F = \parallel \pmb U \pmb A \pmb V \parallel_F = \parallel \pmb A \parallel_F UAF=∥AVF=∥UAVF=∥AF

与向量范数的相容性

∥ ⋅ ∥ m \parallel \cdot \parallel_m m C n × n \pmb C^{n \times n} Cn×n上的矩阵范数, ∥ ⋅ ∥ v \parallel \cdot \parallel_v v C n \pmb C^n Cn上的向量范数。如果对 ∀ A ∈ C n × n , x ∈ C n \forall \pmb A \in \pmb C^{n \times n},\pmb x \in \pmb C^n ACn×n,xCn,都有
∥ A x ∥ v ≤ ∥ A ∥ m ∥ x ∥ v \parallel \pmb A \pmb x \parallel_v \leq \parallel \pmb A \parallel_m \parallel \pmb x \parallel_v Axv≤∥Amxv
则称该矩阵范数和向量范数是相容的

C n × n \pmb C^{n\times n} Cn×n上任何一种矩阵范数,在 C n \pmb C^n Cn上必存在与它相容的向量范数

从属范数

已知 C n \pmb C^n Cn上的向量范数 ∥ ⋅ ∥ v \parallel \cdot \parallel_v v,对 ∀ A ∈ C n × n \forall \pmb A \in C^{n \times n} ACn×n,规定
∥ A ∥ = max ⁡ x ≠ 0 ∥ A x ∥ v ∥ x ∥ v \parallel \pmb A \parallel = \max_{\pmb x\neq 0}\frac{\parallel \pmb A \pmb x \parallel_v}{\parallel \pmb x \parallel _v} A∥=x=0maxxvAxv
∥ ⋅ ∥ \parallel \cdot \parallel C n × n \pmb C^{n \times n} Cn×n上与向量范数 ∥ ⋅ ∥ v \parallel \cdot \parallel_v v相容的矩阵范数,且 ∥ I n ∥ = 1 \parallel \pmb I_n \parallel = 1 In∥=1,称之为由向量范数 ∥ ⋅ ∥ v \parallel \cdot \parallel_v v导出的矩阵范数或从属于向量范数 ∥ ⋅ ∥ v \parallel \cdot \parallel_v v的矩阵范数,简称导出范数或从属范数。从属范数的本质为求解函数的最大值。

范数名称定义别名
1 1 1范数 ∥ A ∥ 1 = max ⁡ j ∑ i = 1 n ∣ a i j ∣ \parallel \pmb A \parallel_1 = \max_j \sum_{i=1}^n \mid a_{ij}\mid A1=maxji=1naij列和范数
2 2 2范数 ∥ A ∥ 2 = λ 1 , λ 1 \parallel \pmb A \parallel_2 = \sqrt{\lambda_1},\lambda_1 A2=λ1 ,λ1 A H A \pmb A^H \pmb A AHA的最大特征值谱范数
∞ \infty 范数 ∥ A ∥ ∞ = max ⁡ i ∑ j = 1 n ∣ a i j ∣ \parallel \pmb A \parallel_\infty = \max_i \sum_{j=1}^n \mid a_{ij} \mid A=maxij=1naij行和范数

U , V \pmb U ,\pmb V U,V n n n阶酉矩阵,矩阵 2 2 2范数有下列良好性质

  • ∥ A H ∥ 2 = ∥ A ∥ 2 \parallel \pmb A^H \parallel_2 = \parallel \pmb A \parallel_2 AH2=∥A2
  • ∥ U A ∥ 2 = ∥ A V ∥ 2 = ∥ U A V ∥ 2 = ∥ A ∥ 2 \parallel \pmb U \pmb A \parallel_2 = \parallel \pmb A \pmb V \parallel_2 = \parallel \pmb U \pmb A \pmb V \parallel_2 = \parallel \pmb A \parallel_2 UA2=∥AV2=∥UAV2=∥A2
  • A \pmb A A是正规矩阵,且 λ 1 , λ 2 , ⋯   , λ n \lambda_1,\lambda_2,\cdots,\lambda_n λ1,λ2,,λn A \pmb A A n n n个特征值,则 ∥ A ∥ 2 = max ⁡ k ∣ λ k ∣ \parallel \pmb A \parallel_2 = \max_k \mid \lambda_k \mid A2=maxkλk

长方阵的范数

A ∈ C m × n , B ∈ C n × l \pmb A \in C^{m\times n},\pmb B \in C^{ n \times l} ACm×n,BCn×l

范数名称定义
m 1 m_1 m1范数 ∥ A ∥ m 1 = ∑ i = 1 m ∑ j = 1 n ∣ a i j ∣ \parallel \pmb A \parallel_{m_1} = \sum_{i=1}^m \sum_{j=1}^n \mid a_{ij} \mid Am1=i=1mj=1naij
F F F范数 ∥ A ∥ F = ∑ i = 1 m ∑ j = 1 n ∣ a i j ∣ 2 = t r ( A H A ) \parallel \pmb A \parallel_{F} = \sqrt{\sum_{i=1}^m \sum_{j=1}^n \mid a_{ij} \mid ^2} = \sqrt{tr(\pmb A^H\pmb A)} AF=i=1mj=1naij2 =tr(AHA)
M M M范数/最大范数 ∥ A ∥ M = max ⁡ { m , n } max ⁡ i , j ∣ a i j ∣ \parallel \pmb A \parallel_{M} = \max\{m,n\} \max_{i,j}\mid a_{ij}\mid AM=max{m,n}maxi,jaij
G G G范数/几何平均范数 ∥ A ∥ G = m n max ⁡ i j ∣ a i j ∣ \parallel \pmb A \parallel_{G} = \sqrt{mn} \max_{ij}\mid a_{ij} \mid AG=mn maxijaij
1 1 1范数/列和范数 ∥ A ∥ 1 = max ⁡ j ∑ i = 1 m ∣ a i j ∣ \parallel \pmb A \parallel_{1} =\max_j \sum_{i=1}^m \mid a_{ij} \mid A1=maxji=1maij
2 2 2范数/谱范数 ∥ A ∥ 2 = A H A 的最大特征值 \parallel \pmb A \parallel_{2} =\sqrt{\pmb A^H \pmb A的最大特征值} A2=AHA的最大特征值
∞ \infty 范数/行和范数 ∥ A ∥ ∞ = max ⁡ i ∑ j = 1 n ∣ a i j ∣ \parallel \pmb A \parallel_{\infty} = \max_i \sum_{j=1}^n \mid a_{ij} \mid A=maxij=1naij

范数应用举例

矩阵的谱半径

A ∈ C n × n , λ 1 , λ 2 , ⋯   , λ n \pmb A \in \pmb C^{n\times n},\lambda_1,\lambda_2,\cdots,\lambda_n ACn×n,λ1,λ2,,λn A \pmb A A n n n个特征值,称
ρ ( A ) = max ⁡ j ∣ λ j ∣ \rho(\pmb A) = \max_j \mid \lambda_j \mid ρ(A)=jmaxλj
A \pmb A A的谱半径

  • ρ ( A k ) = ( ρ ( A ) ) k \rho(\pmb A^k) = (\rho(\pmb A))^k ρ(Ak)=(ρ(A))k
  • ρ ( A H A ) = ρ ( A A H ) = ∥ A ∥ 2 2 \rho(\pmb A^H \pmb A) = \rho(\pmb A \pmb A^H) = \parallel \pmb A \parallel_2^2 ρ(AHA)=ρ(AAH)=∥A22
  • A \pmb A A是正规矩阵时, ρ ( A ) = ∥ A ∥ 2 \rho(\pmb A) = \parallel \pmb A \parallel_2 ρ(A)=∥A2
  • 对于任一矩阵范数 ∥ ⋅ ∥ \parallel \cdot \parallel ,有 ρ ( A ) ≤ ∥ A ∥ \rho(\pmb A) \leq \parallel \pmb A \parallel ρ(A)≤∥A
  • 对任意给定的正数 ε \varepsilon ε,存在某一矩阵范数 ∥ ⋅ ∥ m \parallel \cdot \parallel_m m,使得 ∥ A ∥ m ≤ ρ ( A ) + ε \parallel \pmb A \parallel_m \leq \rho(\pmb A) + \varepsilon Amρ(A)+ε

矩阵的条件数

  • P ∈ C n × n \pmb P \in \pmb C^{n\times n} PCn×n,若对 C n × n \pmb C^{n\times n } Cn×n上的某一矩阵范数 ∥ ⋅ ∥ \parallel \cdot \parallel ∥ P ∥ ≤ 1 \parallel \pmb P \parallel \leq 1 P∥≤1,则 I − P \pmb I - \pmb P IP可逆

  • A ∈ C n n × n , δ A ∈ C n × n \pmb A \in \pmb C_n^{n \times n},\delta \pmb A \in \pmb C^{n \times n} ACnn×n,δACn×n。若对 C n × n \pmb C^{n \times n} Cn×n上的某一矩阵范数 ∥ ⋅ ∥ \parallel \cdot \parallel ∥ A − 1 δ A ∥ ≤ 1 \parallel \pmb A^{-1} \delta\pmb A\parallel \leq 1 A1δA∥≤1,则

    • A + δ A \pmb A + \delta A A+δA可逆
    • ∥ ( A + δ A ) − 1 ∥ ≤ ∥ A − 1 ∥ 1 − ∥ A − 1 δ A ∥ \parallel (\pmb A + \delta \pmb A)^{-1}\parallel \leq \cfrac{\parallel \pmb A^{-1} \parallel}{1- \parallel \pmb A^{-1} \delta \pmb A \parallel} (A+δA)1∥≤1A1δAA1
    • ∥ A − 1 − ( A + δ A ) − 1 ∥ ∥ A − 1 ∥ ≤ ∥ A − 1 δ A ∥ 1 − ∥ A − 1 δ A ∥ \cfrac{\parallel \pmb A^{-1} - (\pmb A + \delta \pmb A)^{-1}\parallel}{\parallel \pmb A^{-1} \parallel} \leq \cfrac{\parallel \pmb A^{-1} \delta \pmb A \parallel}{1- \parallel \pmb A^{-1} \delta \pmb A \parallel} A1A1(A+δA)11A1δAA1δA
  • A ∈ C n n × n , δ A ∈ C n × n \pmb A \in \pmb C^{n\times n}_n,\delta \pmb A \in \pmb C^{n \times n} ACnn×n,δACn×n,若对 C n × n \pmb C^{n \times n} Cn×n上的某一矩阵范数 ∥ ⋅ ∥ \parallel \cdot \parallel ∥ A − 1 ∥ ∥ δ A ∥ < 1 \parallel \pmb A^{-1} \parallel \parallel \delta \pmb A \parallel <1 A1∥∥δA∥<1,则
    ∥ A − 1 − ( A + δ A ) − 1 ∥ ∥ A − 1 ∥ ⩽ ∥ A ∥ ∥ A − 1 ∥ ∥ δ A ∥ ∥ A ∥ 1 − ∥ A ∥ ∥ A − 1 ∥ ∥ δ A ∥ ∥ A ∥ \frac{\left\|\boldsymbol{A}^{-1}-(\boldsymbol{A}+\delta \boldsymbol{A})^{-1}\right\|}{\left\|\boldsymbol{A}^{-1}\right\|} \leqslant \frac{\|\boldsymbol{A}\|\left\|\boldsymbol{A}^{-1}\right\| \frac{\|\delta \boldsymbol{A}\|}{\|\boldsymbol{A}\|}}{1-\|\boldsymbol{A}\|\left\|\boldsymbol{A}^{-1}\right\| \frac{\|\delta \boldsymbol{A}\|}{\|\boldsymbol{A}\|}} A1 A1(A+δA)1 1A A1 AδAA A1 AδA

  • A ∈ C n n × n , δ A ∈ C n × n , b , δ b ∈ C n \pmb A \in \pmb C^{n\times n}_n,\delta \pmb A \in \pmb C^{n \times n},\pmb b ,\delta \pmb b \in \pmb C^{n} ACnn×n,δACn×n,b,δbCn,若对 C n × n \pmb C^{n\times n} Cn×n上的某一矩阵范数 ∥ ⋅ ∥ \parallel \cdot \parallel ∥ A − 1 ∥ ∥ δ A ∥ < 1 \parallel \pmb A^{-1} \parallel \parallel \delta \pmb A \parallel <1 A1∥∥δA∥<1,则非齐次线性方程组
    A x = b & ( A + δ A ) ( x + δ x ) = b + δ b \boldsymbol{A x}=\boldsymbol{b} \quad \& \quad(A+\delta \boldsymbol{A})(\boldsymbol{x}+\delta \boldsymbol{x})=\boldsymbol{b}+\delta \boldsymbol{b} Ax=b&(A+δA)(x+δx)=b+δb
    解满足
    ∥ δ x ∥ v ∥ x ∥ v ⩽ ∥ A ∥ ∥ A − 1 ∥ 1 − ∥ A ∥ ∥ A − 1 ∥ ∥ δ A ∥ ∥ A ∥ ( ∥ δ A ∥ ∥ A ∥ + ∥ δ b ∥ v ∥ b ∥ v ) \frac{\|\delta \boldsymbol{x}\|_{\mathrm{v}}}{\|\boldsymbol{x}\|_{\mathrm{v}}} \leqslant \frac{\|\boldsymbol{A}\|\left\|\boldsymbol{A}^{-1}\right\|}{1-\|\boldsymbol{A}\|\left\|\boldsymbol{A}^{-1}\right\| \frac{\|\delta \boldsymbol{A}\|}{\|\boldsymbol{A}\|}}\left(\frac{\|\delta \boldsymbol{A}\|}{\|\boldsymbol{A}\|}+\frac{\|\delta \boldsymbol{b}\|_{\mathrm{v}}}{\|\boldsymbol{b}\|_{\mathrm{v}}}\right) xvδxv1A A1 AδAA A1 (AδA+bvδbv)
    其中 ∥ ⋅ ∥ v \parallel \cdot \parallel_v v C n \pmb C^n Cn上与矩阵范数 ∥ ⋅ ∥ \parallel \cdot \parallel 相容的向量范数

  • A ∈ C n n × n \pmb A \in \pmb C_n^{n \times n} ACnn×n ∥ ⋅ ∥ \parallel \cdot \parallel C n × n \pmb C^{n \times n} Cn×n上的矩阵范数,称
    c o n d ( A ) = ∥ A ∥   ∥ A − 1 ∥ cond(\pmb A) = \parallel \pmb A \parallel \ \parallel \pmb A^{-1} \parallel cond(A)=∥A A1
    为矩阵 A \pmb A A条件数

    一般地,如果矩阵 A \pmb A A的条件数大就称 A \pmb A A对于求逆矩阵或求解线性方程组是病态的,否则是良态的。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

愤怒的卤蛋

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值