第一章
集合与映射
集合
假子集合(当然子集合):本身和空集合
真子集合(非当然子集合):其他子集合
相等:元素完全相同, S 1 = S 2 S_1=S_2 S1=S2
交:属于集合 S 1 S_1 S1也属于集合 S 2 S_2 S2的元素组成的集合, S 1 ∩ S 2 = { x ∣ x ∈ S 1 且 x ∈ S 2 } S_1\cap S_2=\{x|x\in S_1且 x\in S_2\} S1∩S2={x∣x∈S1且x∈S2}
并:属于集合 S 1 S_1 S1或属于集合 S 2 S_2 S2的元素组成的集合, S 1 ∪ S 2 = { x ∣ x ∈ S 1 或 x ∈ S 2 } S_1\cup S_2=\{x|x\in S_1或 x\in S_2\} S1∪S2={x∣x∈S1或x∈S2}
和: S 1 + S 2 = { x + y ∣ x ∈ S 1 , y ∈ S 2 } S_1+S_2=\{x+y|x\in S_1,y\in S_2\} S1+S2={x+y∣x∈S1,y∈S2}
映射
映射 σ : S → S ′ \sigma:S\rightarrow S' σ:S→S′, S S S中的每个元素(原象|象源)都能在 S ′ S' S′中找到对应的元素(象)。 S S S到自身的映射通常也叫做 S S S到自身的变换。
相等:两个映射都是 S → S ′ S\rightarrow S' S→S′,且 ∀ a ∈ S , σ 1 ( a ) = σ 2 ( a ) \forall a\in S,\sigma_1(a)=\sigma_2(a) ∀a∈S,σ1(a)=σ2(a),则称 σ 1 = σ 2 \sigma_1=\sigma_2 σ1=σ2。
乘积: ( τ σ ) ( a ) = τ ( σ ( a ) ) (\tau\sigma)(a)=\tau(\sigma(a)) (τσ)(a)=τ(σ(a)),满足结合律但是不满足交换律。
线性空间
基本知识
数域 K K K,非空集合 V V V,在 V V V中定义加法运算和数乘运算(统称 V V V的线性运算),且满足以下条件,则称 V V V是 K K K上的线性空间(向量空间)。 K K K是实数域的话, V V V叫做实线性空间,复数同理。
加法运算满足:封闭且唯一、交换律、结合律、存在零元素(唯一,反证)、存在负元素(唯一,反证)。
数乘运算满足:封闭且唯一、数因子分配律、分配律、结合律、1乘( 1 x = x 1x=x 1x=x)
基与坐标
注意基统一用列向量来表示。坐标也是列向量。
过渡矩阵 C C C: ( y 1 , y 2 , ⋯ , y n ) = ( x 1 , x 2 , ⋯ , x n ) C \begin{pmatrix}y_1,y_2,\cdots,y_n\end{pmatrix}=\begin{pmatrix}x_1,x_2,\cdots,x_n\end{pmatrix}C (y1,y2,⋯,yn)=(x1,x2,⋯,xn)C
线性子空间
生成子空间: L ( x 1 , x 2 , ⋯ , x n ) L(x_1,x_2,\cdots,x_n) L(x1,x2,⋯,xn)
矩阵的值域和零空间
- 矩阵 A ∈ R m × n A\in R^{m\times n} A∈Rm×n的值域是指列空间,列向量生成的子空间,记作 R ( A ) R(A) R(A),维数和A的秩相同。
- 矩阵A的行空间,可以用 R ( A T ) R(A^T) R(AT)表示,维数和A的秩相同。
- 矩阵A的零空间(核空间)是指 A x = 0 Ax=0 Ax=0的解空间,记作 N ( A ) N(A) N(A),维数 n ( A ) n(A) n(A)称作零度,有 r a n k ( A ) + n ( A ) = n , r a n k ( A T ) + n ( A T ) = m rank(A)+n(A)=n,rank(A^T)+n(A^T)=m rank(A)+n(A)=n,rank(AT)+n(AT)=m。
子空间的交与和
空间维数公式: dim V 1 + dim V 2 = dim ( V 1 + V 2 ) + dim ( V 1 ∩ V 2 ) \dim V_1+\dim V_2=\dim(V_1+V_2)+\dim(V_1\cap V_2) dimV1+dimV2=dim(V1+V2)+dim(V1∩V2)
线性变换
基本知识
对线性运算封闭: T ( k x + l y ) = k T x + l T y T(kx+ly)=kTx+lTy T(kx+ly)=kTx+lTy
线性变换的值域:所有向量的象形成的集合 R ( T ) = { T x ∣ x ∈ V } R(T)=\{Tx|x\in V\} R(T)={Tx∣x∈V}
线性变换的核:所有被 T T T变为零向量的原象构成的集合 N ( T ) = { x ∣ T x = 0 , x ∈ V } N(T)=\{x|Tx=0,x\in V\} N(T)={x∣Tx=0,x∈V}
注意线性变换不可交换: T 1 T 2 ≠ T 2 T 1 T_1T_2\neq T_2T_1 T1T2=T2T1
矩阵表示: ( T x 1 , T x 2 , ⋯ , T x n ) = ( x 1 , x 2 , ⋯ , x n ) A (Tx_1,Tx_2,\cdots,Tx_n)=(x_1,x_2,\cdots,x_n)A (Tx1,Tx2,⋯,Txn)=(x1,x2,⋯,xn)A。注意线性变换的矩阵表示和选择哪一组基有关,不同基下的矩阵是相似的,也就是 B = C − 1 A C B=C^{-1}AC B=C−1AC。
特征值和特征向量
T x = λ x Tx=\lambda x Tx=λx
在一组基下就是: A ξ = λ ξ → ( λ I − A ) ξ ⃗ = 0 ⃗ → det ( λ I − A ) = 0 A\xi=\lambda \xi\rightarrow (\lambda I-A)\vec{\xi}=\vec{0}\rightarrow \det(\lambda I-A)=0 Aξ=λξ→(λI−A)ξ=0→det(λI−A)=0
矩阵 A A A的所有特征值的和等于 A A A的迹,而 A A A的全体特征值的乘积等于 det A \det A detA: t r ( A ) = ∑ i = 1 n a i i = ∑ i = 1 n λ i , det A = ∏ i = 1 n λ i tr(A)=\sum_{i=1}^n a_{ii}=\sum_{i=1}^n \lambda_i,\det A=\prod_{i=1}^n \lambda_i tr(A)=∑i=1naii=∑i=1nλi,detA=∏i=1nλi
迹的特殊性质: t r ( A B ) = t r ( B A ) tr(AB)=tr(BA) tr(AB)=tr(BA)
n n n阶矩阵一定相似于三角矩阵: P − 1 A P P^{-1}AP P−1AP, P P P由特征向量组成。
Hamilton-Cayley: n n n阶矩阵 A A A是其特征多项式的矩阵根。
不同特征值的特征向量线性无关。
可以化为对角矩阵的充要条件:有 n n n个线性无关的特征向量。
Jordan标准型
基于复矩阵: P − 1 A P = J P^{-1}AP=J P−1AP=J
因式
(
λ
−
λ
i
)
m
i
(\lambda-\lambda_i)^{m_i}
(λ−λi)mi对应的Jordan块:
(
λ
i
1
λ
i
1
λ
i
⋱
⋱
1
λ
i
)
\begin{pmatrix}\lambda_i&1&&&\\&\lambda_i &1&&\\&&\lambda_i&\ddots&\\&&&\ddots&1\\&&&&\lambda_i\end{pmatrix}
⎝⎜⎜⎜⎜⎛λi1λi1λi⋱⋱1λi⎠⎟⎟⎟⎟⎞
注意
λ
i
\lambda_i
λi的重数不一定是
m
i
m_i
mi
特征矩阵: λ I − A \lambda I-A λI−A
不变因子:通过初等变换把特征矩阵变成对角的(只用列变换即可),对角元素叫做不变因子。
初等因子:把次数大于0的不变因子分解为不可约因式的乘积,连带它们的幂次一起叫做初等因子。
求解Jordan标准型:
把每个初等因子对应的Jordan块拼一起就是矩阵的Jordan标准型。要求解
P
P
P的话需要解非齐次线性方程组,在一般情况下,如果
λ
1
\lambda_1
λ1是
A
A
A的
k
k
k重特征值,则
x
1
,
x
2
,
⋯
,
x
k
x_1,x_2,\cdots,x_k
x1,x2,⋯,xk可由解下面各方程组获得:
(
λ
1
I
−
A
)
x
1
=
0
(
λ
1
I
−
A
)
x
i
=
−
x
i
−
1
(\lambda_1 I-A)x_1=0\\ (\lambda_1 I-A)x_i=-x_{i-1}
(λ1I−A)x1=0(λ1I−A)xi=−xi−1
也就是: A ( x 1 , x 2 , ⋯ , x k ) = ( x 1 , x 2 , ⋯ , x k ) J A(x_1,x_2,\cdots,x_k)=(x_1,x_2,\cdots,x_k)J A(x1,x2,⋯,xk)=(x1,x2,⋯,xk)J
化矩阵为Jordan标准形,实际上就是适当选择线性空间的基或坐标系,使得在新坐标系之下,问题的数学形式最为简单,从而便于研究。
欧氏空间和酉空间
欧氏空间
基本知识
- 实数域
- 线性空间
- 存在内积 ( x , y ) (x,y) (x,y)满足:交换律、分配律、齐次性和非负性
- 柯西不等式: ∣ ( x , y ) ∣ < ∣ x ∣ ∣ y ∣ |(x,y)|<|x||y| ∣(x,y)∣<∣x∣∣y∣
- 由内积引出向量夹角的概念: cos < x , y > = ( x , y ) ∣ x ∣ ∣ y ∣ \cos<x,y>=\frac{(x,y)}{|x||y|} cos<x,y>=∣x∣∣y∣(x,y),夹角定义在 [ 0 , π ] [0,\pi] [0,π]
度量矩阵
A = ( a i j ) n × n = ( ( x 1 , x 1 ) ⋯ ( x 1 , x n ) ( x 2 , x 1 ) ⋯ ( x 2 , x n ) ⋮ ⋮ ( x n , x 1 ) ⋯ ( x n , x n ) ) A=(a_{ij})_{n\times n}=\begin{pmatrix} (x_1,x_1)&\cdots&(x_1,x_n)\\ (x_2,x_1)&\cdots&(x_2,x_n)\\ \vdots&&\vdots\\ (x_n,x_1)&\cdots&(x_n,x_n)\\ \end{pmatrix} A=(aij)n×n=⎝⎜⎜⎜⎛(x1,x1)(x2,x1)⋮(xn,x1)⋯⋯⋯(x1,xn)(x2,xn)⋮(xn,xn)⎠⎟⎟⎟⎞
称为这个空间对于基 x 1 , x 2 , ⋯ , x n x_1,x_2,\cdots,x_n x1,x2,⋯,xn的度量矩阵(Gram矩阵),注意度量矩阵是对称且正定的。
可以通过 ( x , y ) = x T A y (x,y)=x^TAy (x,y)=xTAy来计算任意两向量的内积。
矩阵合同
不同基的度量矩阵是合同的。假设两组基的过渡矩阵是 C C C,即 ( y 1 , y 2 , ⋯ , y n ) = ( x 1 , x 2 , ⋯ , x n ) C (y_1,y_2,\cdots,y_n)=(x_1,x_2,\cdots,x_n)C (y1,y2,⋯,yn)=(x1,x2,⋯,xn)C,那么度量矩阵存在 B = C T A C B=C^TAC B=CTAC的关系,也就是矩阵合同。
注意线性变换在不同基下的矩阵是相似的。
正交
定义:欧氏空间, ( x , y ) = 0 (x,y)=0 (x,y)=0,称为正交或垂直。
- 一组两两正交的非零向量称作正交向量组。
- 标准正交基是单位长度的。
- 构造标准正交基使用Schmidt正交化。(作业题中有)
Schmidt正交化(正交单位化):
- 对 x 1 x_1 x1单位化
- x 2 − ( x 2 , x 1 ′ ) x 1 ′ x_2-(x_2,x'_1)x'_1 x2−(x2,x1′)x1′,再单位化
- 接下来对于每个基向量都去掉投影到前面正交化过的投影分量,再单位化。(全部在最后单位化也可以,没那么多分数会好算一点)
正交补空间: V n = V 1 ⊕ V 1 ⊥ V^n=V_1\oplus V_1^\perp Vn=V1⊕V1⊥,直和是指交为零子空间。求齐次线性方程组的解( A x = 0 Ax=0 Ax=0)就是求行向量生成子空间( R ( A T ) R(A^T) R(AT))的正交补空间( N ( A ) N(A) N(A))。
正交变换和正交矩阵
- 正交变换:保持任意向量的长度不变的变换, ( T x , T x ) = ( x , x ) (Tx,Tx)=(x,x) (Tx,Tx)=(x,x)。 T T T是正交变换的充要条件是: ( T x , T y ) = ( x , y ) (Tx,Ty)=(x,y) (Tx,Ty)=(x,y)
- 正交矩阵:实方阵 Q Q Q满足 Q T Q = I Q^TQ=I QTQ=I,称作正交矩阵。充要条件是列向量是两两正交的单位向量。性质有:正交矩阵可逆;逆矩阵也是正交矩阵;正交矩阵的乘积仍是正交矩阵。
- 两者的关系:正交变换在标准正交基下的矩阵是正交矩阵。(充要条件)
第二章
向量范数
- 非负性
- 齐次性
- 三角不等式
矩阵范数
A m × n A_{m\times n} Am×n
- 非负性
- 齐次性
- 三角不等式: ∥ A + B ∥ ≤ ∥ A ∥ + ∥ B ∥ \|A+B\|\leq \|A\|+\|B\| ∥A+B∥≤∥A∥+∥B∥
- (同类矩阵范数)相容性: ∥ A B ∥ ≤ ∥ A ∥ ∥ B ∥ \|AB\|\leq \|A\|\|B\| ∥AB∥≤∥A∥∥B∥
m范数
- m 1 m_1 m1范数:所有元素绝对值之和
- m 2 m_2 m2范数/F范数:所有元素绝对值平方之和开根号, = ( t r ( A H A ) ) 1 2 =(tr(A^HA))^\frac{1}{2} =(tr(AHA))21
- m ∞ m_\infty m∞范数:n倍所有元素绝对值最大值
从属范数
- 1范数/列和范数:注意是绝对值之和
- 2范数/谱范数: A H A A^HA AHA的模最大特征值开根号
- ∞ \infty ∞范数/行和范数:注意是绝对值之和
矩阵范数和向量范数相容
∥ A x ∥ V ≤ ∥ A ∥ M ∥ x ∥ V \|Ax\|_V\leq \|A\|_M\|x\|_V ∥Ax∥V≤∥A∥M∥x∥V
一种矩阵范数可以和多个向量范数相容(至少一个),反之亦可。
范数等价
- 同一个矩阵空间中的任意矩阵范数都是等价的
证明是范数
- 证明非负,且只有0时范数为0
- 证明齐次性,注意绝对值
- 证明三角不等式,和的范数小于等于范数的和
矩阵可逆
如果对于某种矩阵范数 ∥ ∥ \|\| ∥∥,有 ∥ A ∥ < 1 \|A\|<1 ∥A∥<1,那么矩阵 I − A I-A I−A可逆,且有:
∥ ( I − A ) − 1 ∥ ≤ ∥ I ∥ 1 − ∥ A ∥ \|(I-A)^{-1}\|\leq \frac{\|I\|}{1-\|A\|} ∥(I−A)−1∥≤1−∥A∥∥I∥
∥ I − ( I − A ) − 1 ∥ ≤ ∥ A ∥ 1 − ∥ A ∥ \|I-(I-A)^{-1}\|\leq \frac{\|A\|}{1-\|A\|} ∥I−(I−A)−1∥≤1−∥A∥∥A∥
条件数
c o n d ( A ) = ∥ A ∥ ∥ A − 1 ∥ cond(A)=\|A\|\|A^{-1}\| cond(A)=∥A∥∥A−1∥,是求矩阵逆的摄动的一个重要量,一般来说,条件数越大, ( A + δ A ) − 1 (A+\delta A)^{-1} (A+δA)−1和 A − 1 A^{-1} A−1的相对误差就越大。
谱半径
方阵A模最大特征值的模: ρ ( A ) = max ∣ λ ∣ \rho(A)=\max|\lambda| ρ(A)=max∣λ∣
谱半径小于等于所有A的范数值
一般来说,谱半径 ρ ( A ) \rho(A) ρ(A)和谱范数 ∥ A ∥ 2 \|A\|_2 ∥A∥2可能相差很大
第三章
矩阵序列
- 收敛性:一个矩阵序列收敛到A
- 收敛矩阵: A k A^k Ak这个矩阵序列收敛到0矩阵,称A是收敛矩阵。是收敛矩阵的充要条件是, ρ ( A ) < 1 \rho(A)<1 ρ(A)<1
矩阵级数
矩阵级数是指无穷多个有序同阶矩阵之和。
矩阵函数
以矩阵为自变量且取值为矩阵。
f ( A ) = P ⋅ d i a g ( f ( J 1 ) , f ( J 2 ) , ⋯ , f ( J s ) ) P − 1 f(A)=P\cdot diag(f(J_1),f(J_2),\cdots,f(J_s))P^{-1} f(A)=P⋅diag(f(J1),f(J2),⋯,f(Js))P−1
若 A B = B A AB=BA AB=BA,则 e A e B = e B e A = e A + B e^Ae^B=e^Be^A=e^{A+B} eAeB=eBeA=eA+B
det ( e A ) = e t r A \det(e^A)=e^{trA} det(eA)=etrA
矩阵导数和积分
矩阵对一个变量的导数就是每个元素对变量的导数,积分也是。
函数对矩阵的导数是函数对矩阵每个元素的导数。
第四章
三角分解(待补全)
将方阵分解为下三角矩阵和上三角矩阵的乘积。可进行三角分解的充要条件是:顺序主子式均不等于0。
LDU分解
Crout分解
Doolittle分解
Cholesky分解
正交三角分解
将方阵分解为正交矩阵和上三角矩阵的乘积。
方阵的QR分解
Schimidt正交化方法
- 对列向量组进行正交化
Givens变换
T i , j = ( cos ( θ ) sin ( θ ) 0 − sin ( θ ) cos ( θ ) 0 0 0 I ) T_{i,j}=\begin{pmatrix} \cos(\theta)&\sin(\theta)&0\\ -\sin(\theta)&\cos(\theta)&0\\ 0&0&I \end{pmatrix} Ti,j=⎝⎛cos(θ)−sin(θ)0sin(θ)cos(θ)000I⎠⎞
Householder变换
d x = x − H x → u = d x / ∣ d x ∣ → H = I − 2 u u T dx=x-Hx\rightarrow u=dx/|dx|\rightarrow H=I-2uu^T dx=x−Hx→u=dx/∣dx∣→H=I−2uuT
长方阵的QR分解
满秩分解
矩阵分解为列满秩矩阵和行满秩矩阵的乘积, A = F G A=FG A=FG。
逆矩阵方法
- [ A ∣ I ] [A|I] [A∣I]通过行变换变为 [ B ∣ P ] [B|P] [B∣P],B为阶梯型矩阵
- F为 P − 1 P^{-1} P−1的前r列,G为B的前r行
Hermite标准形方法
- A通过行变换变为B,其中B为Hermite标准形,且B的 j 1 , j 2 , ⋯ , j r j_1,j_2,\cdots,j_r j1,j2,⋯,jr列为单位矩阵的前r列
- 取F为A的 j 1 , j 2 , ⋯ , j r j_1,j_2,\cdots,j_r j1,j2,⋯,jr列,G为B的前r行。
奇异值分解
A ∈ C m × n A\in C^{m\times n} A∈Cm×n
奇异值是指Hermite矩阵 A H A A^HA AHA的特征值的算术平方根。
A = U D V H A=UDV^H A=UDVH,其中U、V是酉矩阵( U H U = U U H = I U^HU=UU^H=I UHU=UUH=I)。
正交相抵:存在酉矩阵使得 A = U B V H A=UBV^H A=UBVH
步骤:
- 先求V, V H ( A H A ) V = d i a g ( λ 1 , ⋯ , 0 ) V^H(A^HA)V=diag(\lambda_1,\cdots,0) VH(AHA)V=diag(λ1,⋯,0)
- 再求 U 1 = A V 1 Σ − 1 U_1=AV_1\Sigma^{-1} U1=AV1Σ−1,其中 V 1 V_1 V1是V的前r列。
- 扩充 U 1 U_1 U1为 C m C^m Cm一组标准正交基。
第五章
Rayleigh商
常义Rayleigh商: R ( x ) = x H A x x H x R(x)=\frac{x^HAx}{x^Hx} R(x)=xHxxHAx
广义Rayleigh商: R ( x ) = x H A x x H B x R(x)=\frac{x^HAx}{x^HBx} R(x)=xHBxxHAx,其中B是正定矩阵
性质:
- R ( x ) R(x) R(x)是x的连续函数
- R ( x ) R(x) R(x)是x的零次齐次函数: R ( λ x ) = R ( x ) R(\lambda x)=R(x) R(λx)=R(x)
- R ( x ) R(x) R(x)的最大值和最小值存在,而且都是在单位球面上达到。因此考虑 R ( x ) R(x) R(x)的极性时,可以只在 ∥ x ∥ 2 = 1 \|x\|_2=1 ∥x∥2=1上考虑。
若A为实对称矩阵,则 min x ≠ 0 R ( x ) = min λ , max x ≠ 0 R ( x ) = max λ \min_{x\neq 0} R(x)=\min \lambda,\max_{x\neq 0} R(x)=\max \lambda minx=0R(x)=minλ,maxx=0R(x)=maxλ
盖尔圆
行\列盖尔圆半径是那一行\列的元素绝对值之和。
隔离矩阵特征值:
- 写出A的行盖尔圆和列盖尔圆,要是刚好孤立,那就是隔离开的
- 构造对角矩阵D,想让第i个盖尔圆变小,就令 d i < 1 d_i<1 di<1,其他还是1
- B = D A D − 1 = ( a i j d i d j ) n × n B=DAD^{-1}=(a_{ij}\frac{d_i}{d_j})_{n\times n} B=DAD−1=(aijdjdi)n×n,再判断行\列盖尔圆孤立了没,不然继续。
广义特征值
A x = λ B x Ax=\lambda Bx Ax=λBx,A、B都是自共轭矩阵(Hermite矩阵),其中B正定。
三种解法:
- 直接解 ( λ B − A ) x = 0 (\lambda B-A)x=0 (λB−A)x=0
- 转为常义特征值问题: ( B − 1 A ) x = λ x (B^{-1}A)x=\lambda x (B−1A)x=λx
- 利用Cholesky分解,通过令 B = G G H , x = ( G − 1 ) H y , S = G − 1 A ( G − 1 ) H B=GG^H,x=(G^{-1})^Hy,S=G^{-1}A(G^{-1})^H B=GGH,x=(G−1)Hy,S=G−1A(G−1)H,使得问题转化为 S y = λ y Sy=\lambda y Sy=λy
第六章
广义逆的定义
- A X A = A AXA=A AXA=A
- X A X = X XAX=X XAX=X
- ( A X ) H = A X (AX)^H=AX (AX)H=AX
- ( X A ) H = X A (XA)^H=XA (XA)H=XA
极小范数解和极小范数二乘解
极小范数解:若 A x = b Ax=b Ax=b有解, ∥ x 0 ∥ 2 = min A x = b ∥ x ∥ 2 \|x_0\|_2=\min_{Ax=b}\|x\|_2 ∥x0∥2=minAx=b∥x∥2
极小范数二乘解:若 A x = b Ax=b Ax=b无解, ∥ x 0 ∥ 2 = min min ∥ A x − b ∥ 2 ∥ x ∥ 2 \|x_0\|_2=\min_{\min\|Ax-b\|_2}\|x\|_2 ∥x0∥2=minmin∥Ax−b∥2∥x∥2
构造{1}逆和{1,2}逆
- [ A ∣ I ] [A|I] [A∣I]通过行变换变为 [ B ∣ Q ] [B|Q] [B∣Q],B为Hermite标准形,即 Q A = B QA=B QA=B
- 构造置换矩阵P(交换单位矩阵的列向量)使得, Q A P = B P = ( I r K 0 0 ) QAP=BP=\begin{pmatrix} I_r&K\\ 0&0 \end{pmatrix} QAP=BP=(Ir0K0)
- {1}逆可构造为: X = P ( I r 0 0 L ) Q X=P\begin{pmatrix} I_r&0\\ 0&L \end{pmatrix}Q X=P(Ir00L)Q,其中L为任意矩阵
- {1,2}逆可构造为: X = P ( I r 0 0 0 ) Q X=P\begin{pmatrix} I_r&0\\ 0&0 \end{pmatrix}Q X=P(Ir000)Q
广义逆矩阵计算
满秩分解
- A = F G A=FG A=FG
- F + = ( F H F ) − 1 F H F^+=(F^HF)^{-1}F^H F+=(FHF)−1FH
- G + = G H ( G G H ) − 1 G^+=G^H(GG^H)^{-1} G+=GH(GGH)−1
- A + = G + F + = G H ( F H A G H ) − 1 F H A^+=G^+F^+=G^H(F^HAG^H)^{-1}F^H A+=G+F+=GH(FHAGH)−1FH
奇异值分解
- A = U ( Σ 0 0 0 ) V H A=U\begin{pmatrix} \Sigma&0\\ 0&0 \end{pmatrix}V^H A=U(Σ000)VH
- A + = V ( Σ − 1 0 0 0 ) U H A^+=V\begin{pmatrix} \Sigma^{-1}&0\\ 0&0 \end{pmatrix}U^H A+=V(Σ−1000)UH
利用{1}逆的Zlobec公式
A + = A H ( A H A A H ) ( 1 ) A H A^+=A^H(A^HAA^H)^{(1)}A^H A+=AH(AHAAH)(1)AH,虽然 ( A H A A H ) ( 1 ) (A^HAA^H)^{(1)} (AHAAH)(1)不唯一,但Morre-Penrose逆是唯一的。
Greville方法
- d k = A k − 1 + a k d_k=A_{k-1}^+a_k dk=Ak−1+ak
- c k = a k − A k − 1 d k c_k=a_k-A_{k-1}d_k ck=ak−Ak−1dk
- b k H = c k + , c k ≠ 0 ; b k H = ( 1 + d k H d k ) − 1 d k H A k − 1 + , c k = 0 b_k^H=c_k^+,c_k\neq 0;b_k^H=(1+d_k^Hd_k)^{-1}d_k^HA_{k-1}^+,c_k=0 bkH=ck+,ck=0;bkH=(1+dkHdk)−1dkHAk−1+,ck=0
- A k + = ( A k − 1 + − d k b k H b k H ) A_k^+=\begin{pmatrix} A_{k-1}^+-d_kb_k^H\\ b_k^H \end{pmatrix} Ak+=(Ak−1+−dkbkHbkH)
构造{1,2,3}逆和{1,2,4}逆
- A = F G A=FG A=FG
- G ( 1 / 2 / 4 ) F ( 1 ) ∈ A { 1 / 2 / 4 } G^{(1/2/4)}F^{(1)}\in A\{1/2/4\} G(1/2/4)F(1)∈A{1/2/4}
- G ( 1 ) F ( 1 / 2 / 3 ) ∈ A { 1 / 2 / 3 } G^{(1)}F^{(1/2/3)}\in A\{1/2/3\} G(1)F(1/2/3)∈A{1/2/3}
- G ( 1 ) F + ∈ A { 1 , 2 , 3 } G^{(1)}F^+\in A\{1,2,3\} G(1)F+∈A{1,2,3}
- G + F ( 1 ) ∈ A { 1 , 2 , 4 } G^+F^{(1)}\in A\{1,2,4\} G+F(1)∈A{1,2,4}
- A + = G + F ( 1 , 3 ) = G ( 1 , 4 ) F + A^+=G^+F^{(1,3)}=G^{(1,4)}F^+ A+=G+F(1,3)=G(1,4)F+
方程求解
- A x = b Ax=b Ax=b有解的充要条件是: A A ( 1 ) b = b AA^{(1)}b=b AA(1)b=b,相容
- 若有解,通解为: x = A ( 1 ) b + ( I − A ( 1 ) A ) y x=A^{(1)}b+(I-A^{(1)}A)y x=A(1)b+(I−A(1)A)y,y是任意向量
- 若有解,则极小2-范数解为: x 0 = A + b x_0=A^+b x0=A+b,唯一
- 若无解,则极小2-范数最小二乘解为: x 0 = A + b x_0=A^+b x0=A+b,唯一