数学推导1：矩阵求导

矩阵求导

无论是从事图像相关的研究工作，还是其他科学工作，矩阵知识是必不可少的。在查看论文时，总会遇到大量的矩阵推导、最优值以及迭代更新等等相关问题。网上的很多博客中，内容基本相同，但部分里面甚至还有一些错误，我深受其害。。。去谷歌了一下，找到了国外的资料，来给大家分享。本文主要简单的介绍矩阵求导问题，如果自己能跟着示例，自己每个都能推导出来，那么矩阵求导对你来说应该不是什么难事了。

##主要内容：
MarkDown编辑公式还是不太方便，借助一下在线LaTeX公式编辑器来完成本篇文档内容。
在线LaTex

######（矩阵迹、Jacobian、Hessian求导方法暂不更新，码公式太累，有需要的大家留言，我在决定更新与否）
###1.线性积求导 Derivatives of Linear Products

• 示例一

• $d/d\mathbf{x}(\mathbf{A}\mathbf{Y}\mathbf{B})=\mathbf{A}\ast d/dx(\mathbf{Y})\ast \mathbf{B}$

• $d/d\mathbf{x}(\mathbf{A}\mathbf{y})=\mathbf{A}\ast d/dx(\mathbf{y})$

• 示例二（常碰到）

• $d/d\mathbf{x}({\mathbf{x}}^{\mathbf{T}}\mathbf{A})=\mathbf{A}$

• $d/d\mathbf{x}({\mathbf{x}}^{\mathbf{T}})=\mathbf{I}$

• $d/d\mathbf{x}({\mathbf{x}}^{\mathbf{T}}\mathbf{a})=d/d\mathbf{x}({\mathbf{a}}^{\mathbf{T}}\mathbf{x})=\mathbf{a}$

• 示例三（常碰到）

• $d/d\mathbf{X}({\mathbf{a}}^{\mathbf{T}}\mathbf{X}\mathbf{b})=\mathbf{a}{\mathbf{b}}^{\mathbf{T}}$

• $d/d\mathbf{X}({\mathbf{a}}^{\mathbf{T}}\mathbf{X}\mathbf{a})=\mathbf{a}{\mathbf{a}}^{\mathbf{T}}$

• 示例四（常碰到）

• $d/d\mathbf{X}({\mathbf{a}}^{\mathbf{T}}{\mathbf{X}}^{\mathbf{T}}\mathbf{b})=\mathbf{b}{\mathbf{a}}^{\mathbf{T}}$

• 示例五

• $d/d\mathbf{x}(\mathbf{Y}\mathbf{Z})=\mathbf{Y}\ast d/d\mathbf{x}(\mathbf{Z})+d/d\mathbf{x}(\mathbf{Y})\ast \mathbf{Z}$

###2.二次型求导 Derivatives of Quadratic Products

• 示例一

• $d/d\mathbf{x}(\mathbf{A}\mathbf{x}+\mathbf{b}{)}^T\mathbf{C}(\mathbf{D}\mathbf{x}+\mathbf{e})={\mathbf{A}}^T\mathbf{C}(\mathbf{D}\mathbf{x}+\mathbf{e})+{\mathbf{D}}^T{\mathbf{C}}^T(\mathbf{A}\mathbf{x}+\mathbf{b})$

• $d/d\mathbf{x}({\mathbf{x}}^T\mathbf{C}\mathbf{x})=(\mathbf{C}+{\mathbf{C}}^T)\mathbf{x}$ （常碰到）

• $d/d\mathbf{x}({\mathbf{x}}^T\mathbf{C}\mathbf{x})=2\mathbf{C}\mathbf{x}$ [注：C是对称的] （常碰到）

• $d/d\mathbf{x}({\mathbf{x}}^T\mathbf{x})=2\mathbf{x}$ （常碰到）

• $d/d\mathbf{x}(\mathbf{A}\mathbf{x}+\mathbf{b}{)}^T(\mathbf{D}\mathbf{x}+\mathbf{e})={\mathbf{A}}^T(\mathbf{D}\mathbf{x}+\mathbf{e})+{\mathbf{D}}^T(\mathbf{A}\mathbf{x}+\mathbf{b})$

• $d/d\mathbf{x}(\mathbf{A}\mathbf{x}+\mathbf{b}{)}^T(\mathbf{A}\mathbf{x}+\mathbf{b})=2{\mathbf{A}}^T(\mathbf{A}\mathbf{x}+\mathbf{b})$

• $d/d\mathbf{x}(\mathbf{A}\mathbf{x}+\mathbf{b}{)}^T\mathbf{C}(\mathbf{A}\mathbf{x}+\mathbf{b})=2{\mathbf{A}}^T\mathbf{C}(\mathbf{A}\mathbf{x}+\mathbf{b})$ [注：C是对称的]

• 示例二

• $d/d\mathbf{X}({\mathbf{a}}^T{\mathbf{X}}^T\mathbf{X}\mathbf{b})=\mathbf{X}(\mathbf{a}{\mathbf{b}}^{\mathbf{T}}+\mathbf{b}{\mathbf{a}}^{\mathbf{T}})$

• $d/d\mathbf{X}({\mathbf{a}}^T{\mathbf{X}}^T\mathbf{X}\mathbf{a})=2\mathbf{X}\mathbf{a}{\mathbf{a}}^{\mathbf{T}}$

• 示例三

• $d/d\mathbf{X}({\mathbf{a}}^T{\mathbf{X}}^T\mathbf{C}\mathbf{X}\mathbf{b})={\mathbf{C}}^T\mathbf{X}\mathbf{a}{\mathbf{b}}^{\mathbf{T}}+\mathbf{C}\mathbf{X}\mathbf{b}{\mathbf{a}}^{\mathbf{T}}$

• $d/d\mathbf{X}({\mathbf{a}}^T{\mathbf{X}}^T\mathbf{C}\mathbf{X}\mathbf{a})=(\mathbf{C}+{\mathbf{C}}^T)\mathbf{X}\mathbf{a}{\mathbf{a}}^{\mathbf{T}}$

• $d/d\mathbf{X}({\mathbf{a}}^T{\mathbf{X}}^T\mathbf{C}\mathbf{X}\mathbf{a})=2\mathbf{C}\mathbf{X}\mathbf{a}{\mathbf{a}}^{\mathbf{T}}$ [注：C是对称的]

• 示例四

• $d/d\mathbf{X}((\mathbf{X}\mathbf{a}+\mathbf{b}{)}^T\mathbf{C}(\mathbf{X}\mathbf{a}+\mathbf{b}))=(\mathbf{C}+{\mathbf{C}}^T)(\mathbf{X}\mathbf{a}+\mathbf{b}){\mathbf{a}}^{\mathbf{T}}$

###3.立方积求导 Derivatives of Cubic Products

• 示例一

• $d/d\mathbf{x}({\mathbf{x}}^T\mathbf{A}\mathbf{x}{\mathbf{x}}^T)=(\mathbf{A}+{\mathbf{A}}^T)\mathbf{x}{\mathbf{x}}^T+{\mathbf{x}}^T\mathbf{A}\mathbf{x}\mathbf{I}$

###4.逆求导 Derivatives of Inverses

• 示例一

• $d/d\mathbf{x}({\mathbf{Y}}^{-1})=-{\mathbf{Y}}^{-1}d/d\mathbf{x}(\mathbf{Y}){\mathbf{Y}}^{-1}$