一、线性代数
1.1 矩阵内积与迹
类似于向量的内积,我们可以定义矩阵的内积。具体地,对于两个 m × n m\times n m×n的矩阵 A , B A,B A,B,其内积定义为:
⟨ A , B ⟩ = ∑ i , j a i j b i j \langle A,B\rangle=\sum\limits_{i,j}a_{ij}b_{ij} ⟨A,B⟩=i,j∑aijbij
从定义可以看出 ⟨ A , B ⟩ = ⟨ B , A ⟩ \langle A,B\rangle=\langle B,A\rangle ⟨A,B⟩=⟨B,A⟩。
1.2 正交矩阵与(半)正定矩阵
对于方阵 A A A和同阶单位矩阵 I I I,若 A T A = A A T = I A^TA=AA^T=I ATA=AAT=I,则称 A A A为正交矩阵。对于矩阵 A ∈ R m × n A\in\mathbb{R}^{m\times n} A∈Rm×n,其中 m > n m>n m>n,若 A T A = I A^TA=I ATA=I,则称其为列正交矩阵。
注意,当 A A A为半正定矩阵时,记为 A ⪰ 0 A\succeq0 A⪰0,当 A A A为正定矩阵时,记为 A ≻ 0 A\succ0 A≻0