实数矩阵求导

Mayfyi

于 2023-12-25 21:41:58 发布

阅读量911

点赞数 29

文章标签：矩阵线性代数

本文链接：https://blog.csdn.net/m0_46278609/article/details/135118711

版权

一、矩阵求导的基本概念

在高等数学和线性代数等基础课程上，我们已经学会了标量的求导，包括多元函数求偏导，矩阵等元素的基本运算了。
求导是什么？实数对实数的求导，就是“可微”，求极限。那么同样的概念套到矩阵上，矩阵不过是多个数据的组合，元素一一对应求导便是，另外，可以用链式法则。分子、分母有可能是：标量、向量、矩阵。

二、矩阵求导的布局

矩阵求导，一般会看到有两种布局，一种分子布局，一种分母布局。矩阵求导术
首先是分子布局，Jacobian矩阵：
$\frac{\partial \boldsymbol{f}}{\partial \boldsymbol{x}}=\left[\begin{array}{cccc} \frac{\partial f_{1}}{\partial x_{1}} & \frac{\partial f_{1}}{\partial x_{2}} & \cdots & \frac{\partial f_{1}}{\partial x_{m}} \\ \frac{\partial f_{2}}{\partial x_{1}} & \frac{\partial f_{2}}{\partial x_{2}} & \cdots & \frac{\partial f_{2}}{\partial x_{m}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial f_{m}}{\partial x_{1}} & \frac{\partial f_{m}}{\partial x_{2}} & \cdots & \frac{\partial f_{m}}{\partial x_{m}} \end{array}\right]$
其次是分母布局，Hessian矩阵：
$\frac{\partial \boldsymbol{f}}{\partial \boldsymbol{x}}=\left[\begin{array}{cccc} \frac{\partial f_{1}}{\partial x_{1}} & \frac{\partial f_{2}}{\partial x_{1}} & \cdots & \frac{\partial f_{p}}{\partial x_{1}} \\ \frac{\partial f_{1}}{\partial x_{2}} & \frac{\partial f_{2}}{\partial x_{2}} & \cdots & \frac{\partial f_{p}}{\partial x_{2}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial f_{1}}{\partial x_{m}} & \frac{\partial f_{2}}{\partial x_{m}} & \cdots & \frac{\partial f_{p}}{\partial x_{m}} \end{array}\right]$

可以观察到，两者的行列分别按照分子、分母展开的。个人倾向于分母布局，即将分子当成行向量，分母当成列向量。

三、矩阵求导公式推导

鉴于网上已经有很多介绍矩阵求导的文章，所以本文中给出矩阵求导详例后，只简单地描述一下，后续想要验证结果的同学可以根据前面的定义式子一一展开进行计算。
首先是：

标量对列向量求导，结果是一个列向量，结果列向量的每个元素，等于标量对原列向量中对应的元素求导。（把列向量换成行向量/矩阵，是同理的。）
${\bf x}=\left[x_1, x_2,x_3 \right]^T$
$f({\bf x})=a_1x_1+a_2x_2^2+a_3x_2x_3$
有
$\begin {equation} \begin {aligned} \frac {\partial f({\bf x})}{\partial {\bf x}} &=\left[ \begin{matrix} \frac {a_1x_1+a_2x_2^2+a_3x_2x_3}{\partial {x_1}} \\ \frac {a_1x_1+a_2x_2^2+a_3x_2x_3}{\partial {x_2}}\\ \frac {a_1x_1+a_2x_2^2+a_3x_2x_3}{\partial {x_3}} \end{matrix} \right] \\ & =\left[ \begin{matrix} \frac {a_1x_1}{\partial {x_1}} \\ \frac {a_2x_2^2+a_3x_2x_3}{\partial {x_2}}\\ \frac {a_3x_2x_3}{\partial {x_3}} \end{matrix} \right] = \left[ \begin{matrix} a_1 \\ 2a_2+a_3x_3\\ a_3x_2 \end{matrix} \right] \end {aligned} \end {equation}$
m维列向量（行向量）对 n维列向量（行向量）求导，得到的是矩阵，mn维/nm维（取决于自己的习惯），展开方式如第二章所言，两种布局。
矩阵对向量，矩阵对矩阵，都是多维的“张量”。
矩阵，矩阵的迹，求导速查超级简洁的文章，推荐！

四、矩阵求导常用式子

查表大全
黑体大写字母为矩阵，黑体小写字母为向量，小写字母为常量。 $v,{\bf v}, u,{\bf u}$ , 是 ${\bf x}$ 的函数。
分母布局，即分母为列向量的写法。
常用例子：

向量-向量
$\frac {\partial {\bf A} {\bf x}}{\partial {\bf x}} ={\bf A}^T$
$\frac {\partial {\bf x}^T{\bf A} }{\partial {\bf x}} ={\bf A}$
$\frac {\partial a{\bf u} }{\partial {\bf x}} =a\frac {\partial {\bf u} }{\partial {\bf x}}$
$\frac {\partial {\bf A}{\bf u} }{\partial {\bf x}} =\frac {\partial {\bf u} }{\partial {\bf x}} {\bf A}^T$
$\frac {\partial {\bf g}({\bf u}) }{\partial {\bf x}} =\frac {\partial {\bf u} }{\partial {\bf x}} \frac {\partial {\bf g}({\bf u}) }{\partial {\bf u}}$
标量-向量
$\frac {\partial {g}({u}) }{\partial {\bf x}} =\frac {\partial {g}({u}) }{\partial {u}} \frac {\partial {u} }{\partial {\bf x}}$
$\frac {\partial {\bf x}^T{\bf A} {\bf x}}{\partial {\bf x}} =(A + A^T ){\bf x}$
$\frac {\partial ^2 {\bf x}^T{\bf A} {\bf x}}{\partial {\bf x} \partial {\bf x}^T} =A + A^T$
$\frac {\partial {\bf b}^T {\bf A}{\bf x}}{\partial {\bf x} } = {\bf A}^T{\bf b}$
$\frac {\partial {\bf a}^T {\bf x}{\bf x}^T{\bf b}}{\partial {\bf x} } =({\bf a}{\bf b}^T+{\bf b}{\bf a}^T){\bf x}$
向量-标量
$\frac {\partial {\bf A}{\bf u}}{\partial {x} } =\frac {\partial {\bf u}}{\partial {x} } {\bf A}^T$
向量-矩阵
$\frac {\partial ({\bf A}{\bf X}{\bf B}{\bf X}^T{\bf C})}{\partial {\bf X} } ={\bf CAXB} + {\bf A}^T{\bf C}^T{\bf X}{\bf B}^T$
标量-矩阵
$\frac {\partial a}{\partial {\bf X} } ={\bf 0}$
$\frac {\partial uv}{\partial {\bf X} } =u\frac {\partial v}{\partial {\bf X} }+v\frac {\partial u}{\partial {\bf X} }$
$\frac {\partial {\bf a}^T{\bf Xb}}{\partial {\bf X} } ={\bf a}{\bf b}^T$
$\frac {\partial {\bf a}^T{\bf X}^T{\bf b}}{\partial {\bf X} } ={\bf b}{\bf a}^T$
$\frac {\partial {\bf (Xa+b)}^T{\bf C} {\bf (Xa+b)}}{\partial {\bf X} } =({\bf C}+{\bf C}^T){\bf (Xa+b)}{\bf a}^T$ .

Mayfyi

关注

29
点赞
踩
23

收藏

觉得还不错? 一键收藏
0
评论
实数矩阵求导

那么同样的概念套到矩阵上，矩阵不过是多个数据的组合，元素一一对应求导便是，另外，可以用链式法则。分子、分母有可能是：标量、向量、矩阵。在高等数学和线性代数等基础课程上，我们已经学会了标量的求导，包括多元函数求偏导，矩阵等元素的基本运算了。个人倾向于分母布局，即将分子当成行向量，分母当成列向量。后，只简单地描述一下，后续想要验证结果的同学可以根据前面的定义式子一一展开进行计算。矩阵求导，一般会看到有两种布局，一种分子布局，一种分母布局。黑体大写字母为矩阵，黑体小写字母为向量，小写字母为常量。
复制链接

扫一扫