A矩阵
A.1 基本演算
转置矩阵
(A+B)T(AB)T=AT+BT=BTAT(1)(2)
逆矩阵
(AT)−1(AB)−1=(A−1)T=B−1A−1(3)(4)
矩阵的迹,对于n阶方阵A,它的迹是主对角线上的元素之和,即 tr(A)=Σni=1Aii
tr(AT)tr(A+B)tr(AB)tr(ABC)=tr(A)=tr(A)tr(B)=tr(BA)=tr(BCA)=tr(CAB)(5)(6)(7)(8)
n阶方阵A的行列式(determinant)定义为
det(A)=∑σ∈Snpar(σ)A1σ1A2σ2…Anσn(9)
n阶方阵A的行列式有如下性质:
det(cA)det(AT)det(AB)det(A−1)det(An)=cndet(A)=det(A)=det(A)det(B)=det(A)−1=det(A)n(10)(11)(12)(13)(14)
矩阵
A∈Rm×n
的Frobenius范数定义为
||A||F=(tr(ATA))1/2=⎛⎝∑i=1m∑j=1nA2ij⎞⎠1/2(15)
容易看出,矩阵的Frobenius范数就是讲矩阵张成向量后的 L2 的范数
A.2 导数
向量 a 相对于标量x 的导数,以及x相对于 a 的导数都是向量,其第i个分量分别为
(∂a∂x)i=∂ai∂x,(∂x∂a)i=∂x∂ai,(16)(17)
类似的,矩阵 A 对于标量x的导数,以及x对于 A 的导数都是矩阵,其第i行第j列上的元素分别为
(∂A∂x)ij=∂Aij∂x,(∂x∂A)ij=∂x∂Aij,(18)(19)
对于函数 f(x) ,假定其对向量的元素可导,则 f(x) 关于 x 的一阶导数是一个向量,其第i个分量为
(∇f(x))i=∂f(x)∂xi(20)
f(x) 关于 x 的二阶导数是称为海森矩阵的一个方阵,其第i行第j列上的元素为
(∇2f(x))ij=∂2f(x)∂xi∂xj(21)
向量和矩阵的导数满足乘法法则
∂xTa∂x=∂aTx∂x=a∂AB∂x=∂ax∂x(22)(23)
由 A−1A=I 和式{23},逆矩阵的导数可表示为
∂A−1∂x=−A−1∂A∂xA−1(24)
若求导的标量是矩阵\boldsymbol{A}的元素,则有
∂tr(AB)∂Aij=Bji,∂tr(AB)∂A=BT,(25)(26)
进而有
∂tr(ATB)A=B(27)