Matrix calculus(矩阵微积分)（第三部分，向量求导恒等式（I））

恒等式

综上所述，如果涉及到分子布局和分母布局的切换，则运算结果会发生转置。
为了搞懂下面的一些等式，应该记得下面的一些规则：链式法则，产品法则，总体法则。总和规则通用，产品规则适用于以下大多数情况，条件是维持矩阵产品的秩序，因为矩阵产品是不可交换的。链式规则适用于某些情况，但不幸的是，不适用于矩阵对向量求导或向量对矩阵求导（后者主要涉及应用于矩阵的跟踪算子）。在后一种情况下，产品规则也不能直接应用，但是使用微分恒等式可以做更多的工作。

向量对向量求导恒等式

首先介绍这一点，因为所有适用于向量对向量微分的操作都直接适用于向量对标量，或者是标量对向量的微分，只需将分子或分母中的的向量简化为标量即可。
恒等式：向量对向量求导$\dfrac{\partial\mathbf{y}}{\partial\mathbf{x}}$

情况	表达式	分子布局	分母布局
$\mathbf{a}$不是$\mathbf{x}$的函数	$\dfrac{\partial\mathbf{a}}{\partial\mathbf{x}}=$	$\mathbf{0}$
	$\dfrac{\partial\mathbf{x}}{\partial\mathbf{x}}=$	$\mathbf{I}$
$\mathbf{A}$不是$\mathbf{x}$的函数	$\dfrac{\partial\mathbf{Ax}}{\partial\mathbf{x}}=$	$\mathbf{A}$	$\mathbf{A}^T$
	$\dfrac{\partial\mathbf{x}^T\mathbf{A}}{\partial\mathbf{x}}=$	$\mathbf{A}^T$	$\mathbf{A}$
$a$不是$\mathbf{x}$的函数,$\mathbf{u}=\mathbf{u}(\mathbf{x})$	$\dfrac{\partial a\mathbf{u}}{\partial\mathbf{x}}=$	$a\dfrac{\partial\mathbf{u}}{\partial\mathbf{x}}$
$a=a(\mathbf{x})$,$\mathbf{u}=\mathbf{u}(\mathbf{x})$	$\dfrac{\partial a\mathbf{u}}{\partial\mathbf{x}}=$	$a\dfrac{\partial\mathbf{u}}{\partial\mathbf{x}}+\mathbf{u}\dfrac{\partial a}{\partial\mathbf{x}}$	$a\dfrac{\partial\mathbf{u}}{\partial\mathbf{x}}+\dfrac{\partial a}{\partial\mathbf{x}}\mathbf{u}^T$
$\mathbf{A}$不是$\mathbf{x}$的函数,$\mathbf{u}=\mathbf{u}(\mathbf{x})$	$\dfrac{\partial \mathbf{A}\mathbf{u}}{\partial\mathbf{x}}=$	$\mathbf{A}\dfrac{\partial\mathbf{u}}{\partial\mathbf{x}}$	$\dfrac{\partial\mathbf{u}}{\partial\mathbf{x}}\mathbf{A}^T$
$\mathbf{u}=\mathbf{u}(\mathbf{x})$,$\mathbf{v}=\mathbf{v}(\mathbf{x})$	$\dfrac{\partial(\mathbf{u}+\mathbf{v})}{\partial\mathbf{x}}=$	$\dfrac{\partial\mathbf{u}}{\partial\mathbf{x}}+\dfrac{\partial \mathbf{v}}{\partial\mathbf{x}}$
$\mathbf{u}=\mathbf{u}(\mathbf{x})$	$\dfrac{\partial\mathbf{g(u)}}{\partial\mathbf{x}}=$	$\dfrac{\partial\mathbf{g(u)}}{\partial\mathbf{u}}\dfrac{\partial\mathbf{u}}{\partial\mathbf{x}}$	$\dfrac{\partial\mathbf{u}}{\partial\mathbf{x}}\dfrac{\partial\mathbf{g(u)}}{\partial\mathbf{u}}$
	$\dfrac{\partial\mathbf{f(g(u))}}{\partial\mathbf{x}}=$	$\dfrac{\partial\mathbf{f(g)}}{\partial\mathbf{g}}\dfrac{\partial\mathbf{g(u)}}{\partial\mathbf{u}}\dfrac{\partial\mathbf{u}}{\partial\mathbf{x}}$	$\dfrac{\partial\mathbf{u}}{\partial\mathbf{x}}\dfrac{\partial\mathbf{g(u)}}{\partial\mathbf{u}}\dfrac{\partial\mathbf{f(g)}}{\partial\mathbf{g}}$

标量对向量求导恒等式

基本的恒等式在黑线的上方

情况	表达式	分子布局	分母布局
第一部分
$a$不是向量$\mathbf{x}$的方程	$\dfrac{\partial a}{\partial\mathbf{x}}=$	$\mathbf{0}^T$	$\mathbf{0}$
$a$不是向量$\mathbf{x}$的方程,$u=u(\mathbf{x})$	$\dfrac{\partial au}{\partial\mathbf{x}}=$	$a\dfrac{\partial u}{\partial\mathbf{x}}$
$u=u(\mathbf{x})$,$v=v(\mathbf{x})$	$\dfrac{\partial(u+v)}{\partial\mathbf{x}}=$	$\dfrac{\partial{u}}{\partial\mathbf{x}}+\dfrac{\partial{v}}{\partial\mathbf{x}}$
	$\dfrac{\partial(uv)}{\partial\mathbf{x}}=$	$u\dfrac{\partial{v}}{\partial\mathbf{x}}+v\dfrac{\partial{u}}{\partial\mathbf{x}}$
$u=u(\mathbf{x})$	$\dfrac{\partial{g(u)}}{\partial\mathbf{x}}=$	$\dfrac{\partial{g(u)}}{\partial{u}}\dfrac{\partial{u}}{\partial\mathbf{x}}$
	$\dfrac{\partial{f(g(u))}}{\partial\mathbf{x}}=$	$\dfrac{\partial{f(g)}}{\partial{g}}\dfrac{\partial{g(u)}}{\partial{u}}\dfrac{\partial{u}}{\partial\mathbf{x}}$
$\mathbf{u} = \mathbf{u}(\mathbf{x}), \mathbf{v} = \mathbf{v}(\mathbf{x})$	$\dfrac{\partial(\mathbf{u}\cdot\mathbf{v})}{\partial\mathbf{x}}=\dfrac{\partial\mathbf{u}^T\mathbf{v}}{\partial\mathbf{x}}=$	$\mathbf{u}^T\dfrac{\partial\mathbf{v}}{\partial\mathbf{x}}+\mathbf{v}^T\dfrac{\partial\mathbf{u}}{\partial\mathbf{x}}$此处假定$\dfrac{\partial\mathbf{u}}{\partial\mathbf{x}}$和$\dfrac{\partial\mathbf{v}}{\partial\mathbf{x}}$为分子布局	$\dfrac{\partial\mathbf{v}}{\partial\mathbf{x}}\mathbf{v}+\dfrac{\partial\mathbf{u}}{\partial\mathbf{x}}\mathbf{u}$此处假定$\dfrac{\partial\mathbf{u}}{\partial\mathbf{x}}$和$\dfrac{\partial\mathbf{v}}{\partial\mathbf{x}}$为分母布局
$\mathbf{u} = \mathbf{u}(\mathbf{x}), \mathbf{v} = \mathbf{v}(\mathbf{x})$$\mathbf{A}$不是关于向量$\mathbf{x}$的函数	$\dfrac{\partial(\mathbf{u}\cdot\mathbf{A}\mathbf{v})}{\partial\mathbf{x}}=\dfrac{\partial\mathbf{u}^T\mathbf{A}\mathbf{v}}{\partial\mathbf{x}}=$	$\mathbf{u}^T\mathbf{A}\dfrac{\partial\mathbf{v}}{\partial\mathbf{x}}+\mathbf{v}^T\mathbf{A}^T\dfrac{\partial\mathbf{u}}{\partial\mathbf{x}}$此处假定$\dfrac{\partial\mathbf{u}}{\partial\mathbf{x}}$和$\dfrac{\partial\mathbf{v}}{\partial\mathbf{x}}$为分子布局	$\dfrac{\partial\mathbf{v}}{\partial\mathbf{x}}\mathbf{A}\mathbf{v}+\dfrac{\partial\mathbf{u}}{\partial\mathbf{x}}\mathbf{A}^T\mathbf{u}$此处假定$\dfrac{\partial\mathbf{u}}{\partial\mathbf{x}}$和$\dfrac{\partial\mathbf{v}}{\partial\mathbf{x}}$为分母布局
	$\dfrac{\partial^2}{\partial\mathbf{x}\partial\mathbf{x}^T}=$		$\mathbf{H}$,海森矩阵
第二部分
$\mathbf{a}$不是关于向量$\mathbf{x}$的方程	$\dfrac{\partial{(\mathbf{a}\cdot\mathbf{x}})}{\partial{\mathbf{x}}}=\dfrac{\partial{(\mathbf{x}\cdot\mathbf{a}})}{\partial{\mathbf{x}}}=\dfrac{\partial{\mathbf{a}^T\mathbf{x}}}{\partial{\mathbf{x}}}=\dfrac{\partial{\mathbf{x}^T\mathbf{a}}}{\partial{\mathbf{x}}}=$	$\mathbf{a}^T$	$\mathbf{a}$
$\mathbf{A}$不是关于向量$\mathbf{x}$的方程,$\mathbf{a}$不是关于向量$\mathbf{x}$的方程	$\dfrac{\partial{\mathbf{b}^T\mathbf{Ax}}}{\partial{\mathbf{x}}}=$	$\mathbf{b}^T\mathbf{A}$	$\mathbf{A}^T\mathbf{b}$
$\mathbf{A}$不是关于向量$\mathbf{x}$的方程	$\dfrac{\partial{\mathbf{x}^T\mathbf{Ax}}}{\partial{\mathbf{x}}}=$	$\mathbf{x}^T(\mathbf{A}+\mathbf{A}^T)$	$(\mathbf{A}+\mathbf{A}^T)\mathbf{x}$
$\mathbf{A}$不是关于向量$\mathbf{x}$的方程,$\mathbf{A}$是对称矩阵	$\dfrac{\partial{\mathbf{x}^T\mathbf{Ax}}}{\partial{\mathbf{x}}}=$	$2\mathbf{x}^T\mathbf{A}$	$2\mathbf{A}\mathbf{x}$
$\mathbf{A}$不是关于向量$\mathbf{x}$的方程	$\dfrac{\partial^2{\mathbf{x}^T\mathbf{Ax}}}{\partial{\mathbf{x}}}=$	$\mathbf{A}+\mathbf{A}^T$
$\mathbf{A}$不是关于向量$\mathbf{x}$的方程,$\mathbf{A}$是对称矩阵	$\dfrac{\partial^2{\mathbf{x}^T\mathbf{Ax}}}{\partial{\mathbf{x}}}=$	$2\mathbf{A}$
	$\dfrac{\partial{(\mathbf{x}\cdot\mathbf{x}})}{\partial{\mathbf{x}}}=\dfrac{\partial{\mathbf{x}^T\mathbf{x}}}{\partial{\mathbf{x}}}=$	$2\mathbf{x}^T$	$2\mathbf{x}$

表格太长无法编辑了，老是跳屏