矩阵计算 | 常用矩阵求导公式速查

CHH3213

已于 2022-09-12 11:06:35 修改

阅读量4.1k

点赞数 15

分类专栏：数学文章标签：矩阵线性代数机器学习

于 2022-08-22 21:37:16 首次发布

本文链接：https://blog.csdn.net/weixin_42301220/article/details/126473542

版权

数学专栏收录该内容

16 篇文章 20 订阅

订阅专栏

文章目录

参考资料
常用矩阵求导公式

参考资料

常用矩阵求导公式

对于一个矩阵A，向量 $\mathrm{x}$ ，有如下求导公式：
$\tag{1} \frac{\mathrm{dx}^{\mathrm{T}}}{\mathrm{dx}}=I\text{,} \quad \quad \frac{\mathrm{dx}}{\mathrm{dx}^{\mathrm{T}}}=I$

$\tag{2} \begin{gathered} \frac{\mathrm{dx}^{\mathrm{T}} \mathrm{A}}{\mathrm{dx}}=\mathrm{A}\text{,} \quad \quad \quad \frac{\mathrm{dAx}}{\mathrm{dx}^{\mathrm{T}}}=\mathrm{A} \\ \end{gathered}$

$\tag{3} \begin{gathered} \frac{\mathrm{dAx}}{\mathrm{dx}}=\mathrm{A}^{\mathrm{T}}\text{,} \quad \quad \quad \frac{\mathrm{dxA}}{\mathrm{dx}}=\mathrm{A}^{\mathrm{T}} \end{gathered}$

$\tag{4-1} \begin{gathered} \frac{\mathrm{dx}^{\mathrm{T}} \mathrm{x}}{\mathrm{dx}}=2 \mathrm{x} \text{,} \quad \quad \frac{\mathrm{dx}^{\mathrm{T}} \mathrm{Ax}}{\mathrm{dx}}=\left(\mathrm{A}+\mathrm{A}^{\mathrm{T}}\right) \mathrm{x} \end{gathered}$
$\tag{4-2} \frac{\mathrm{dx}^{\mathrm{T}}\mathrm {A x}}{\mathrm{d x x}^{\mathrm{T}}}=\frac{d}{ \mathrm{d x}}\left(\frac{\mathrm{ dx}^{\mathrm{T}} \mathrm{A x}}{ \mathrm{d x}}\right)=\mathrm{A}^{\mathrm{T}}+\mathrm{A}$

$\tag{5-1} \frac{\partial \mathrm{u}}{\partial \mathrm{x}^{\mathrm{T}}}=\left(\frac{\partial \mathrm{u}^{\mathrm{T}}}{\partial \mathrm{x}}\right)^{\mathrm{T}}$
$\tag{5-2} \begin{aligned} \frac{\partial \mathrm{u}^{\mathrm{T}} \mathrm{v}}{\partial \mathrm{x}}=\frac{\partial \mathrm{u}^{\mathrm{T}}}{\partial \mathrm{x}} \mathrm{v}+\frac{\partial \mathrm{v}^{\mathrm{T}}}{\partial \mathrm{x}} \mathrm{u}^{\mathrm{T}} \text{,} \quad \quad \frac{\partial \mathrm{uv}^{\mathrm{T}}}{\partial \mathrm{x}}=\frac{\partial \mathrm{u}}{\partial \mathrm{x}} \mathrm{v}^{\mathrm{T}}+\mathrm{u} \frac{\partial \mathrm{v}^{\mathrm{T}}}{\partial \mathrm{x}} \end{aligned}$

$\tag{6} \frac{\partial\left[(\mathrm{xu}-\mathrm{v})^{\mathrm{T}}(\mathrm{x} u-\mathrm{v})\right]}{\partial \mathrm{x}}=2(\mathrm{xu}-\mathrm{v}) \mathrm{u}^{\mathrm{T}}$

$\tag{7} \begin{gathered} \frac{\partial \mathrm{u}^{\mathrm{T}} \mathrm{xv}}{\partial \mathrm{x}}=\mathrm{uv}^{\mathrm{T}} \text{,} \quad \quad \frac{\partial \mathrm{u}^{\mathrm{T}} \mathrm{x}^{\mathrm{T}} \mathrm{xu}}{\partial \mathrm{x}}=2 \mathrm{xuu}^{\mathrm{T}} \end{gathered}$

特别地，当 $A=A^T$ 时，公式(4-1)和公式(4-2)有
$\tag{8} \begin{gathered} \frac{\mathrm{dx}^{\mathrm{T}} \mathrm{Ax}}{\mathrm{dx}}=2\mathrm{A}\mathrm{x} \end{gathered}$
$\tag{9} \frac{ \mathrm{dx}^{\mathrm{T}}\mathrm {A x}}{\mathrm{dx x}^{\mathrm{T}}}=2\mathrm{A}$