在机器学习中,常用的一般是求一个数值函数对向量或矩阵变量的导数,这个数值,一般表现为向量的内积,或者是矩阵的迹。
α,x 是向量, A,B,C 是矩阵,假定以下向量矩阵都是合适大小、可乘的。
∂xTα∂x=∂αTx∂x=α(1)
∂xTx∂x=2x(2)
∂xTAx∂x=(A+AT)x(3)
∂Tr(ATB)∂A=B(4)
∂Tr(ABATC)∂A=CAB+CTABT(5)
关于矩阵迹的重要性质:
Tr(A)=Tr(AT)(7)
Tr(ABC)=Tr(BCA)=Tr(CAB)(6)