机器学习中常用的导数公式和迹公式

常用导数公式：

• $\frac{\delta \omega^Tx}{\delta \omega} = x$

• $\frac{\delta x\omega}{\delta \omega} = x^T$

• $\frac{\delta x^T\omega}{\delta \omega} = x$

• $\frac{\delta \omega^Tx^T}{\delta \omega} = x^T$

• $\frac{\delta \omega^TA\omega}{\delta \omega} = (A+A^T)\omega$

常用迹公式

• $tr(a) = a$

• $tr(AB) = tr(BA)$

• $tr(ABC) = tr(CAB) = tr(BCA)$

• $\frac{\delta tr(AB)}{\delta A} = B^T$

• $tr(A) = tr(A^T)$

• $\frac{\delta tr(ABA^TC)}{\delta A} = CAB + C^TAB^T$