机器学习中矩阵向量求导

以下内容是根据刘建平的求导博客做的相关笔记

一、导数的定义与布局

1. 相关说明

2.导数布局

导数部分有分子布局和分母布局两种情况。
分子布局和分母布局相差一个转置。

• 标量对向量求导布局
  
• 向量对向量求导布局
  
• 求导布局总结
  
• 标量对向量或矩阵求导，以分母布局为主。向量对向量求导，以分母布局为主。

二、矩阵向量求导之定义法

写出单个元素间的求导关系，得出求导结果。
思路简单，适用于求解简单关系的导数

2.1 标量对向量求导

2.2 标量对矩阵求导

2.3 向量对向量求导

三、矩阵向量求导之微分法

3.1 矩阵微分

3.2 矩阵微分的性质

矩阵迹相关


$A\ast A^{\ast }=\left|A\right|$
$A^{\ast }=\left|A\right|A^{-1}$
$A^{\ast }$是$A$的伴随矩阵，$A$相应位置的代数余子式构成的矩阵

3.3使用微分法求解矩阵向量求导

$d(tr(X))=tr(d(x))$
$(uv{)}^{{}^{\prime }}=u^{{}^{\prime }}v+u{v}^{{}^{\prime }}$

四、链式法则

4.1 链式法则与矩阵相容

链式关系成立的条件是，相互关联的变量都是向量。

$\mathbf{x}$，$\mathbf{y}$,$\mathbf{z}$都是向量时，用上面的链式法则公式直接求解。
当最终的变量是标量时，按上面公式计算会出现维度不相容的情况。需要按下面的方法计算：