机器学习必备数学基础！-- 矩阵求导

文章内容

本文章主要介绍了矩阵微积分中的 矩阵求导 相关数学知识

---

---

标准函数

$\frac{df(x)}{dx}$：其中f(x)与x均可为标量，向量，矩阵,所以有3*3=9种类型函数

布局类型

1.分子布局

分子为列向量则求导为列向量，即求导结果的维度以分子为主

2.分母布局

分母为列向量则求导为列向量，即求导结果的维度以分母为主

PS：两种布局所得结果互为转置，故无性质上不同，仅为定义上的差异，根据行业流行和个人习惯进行选择即可

注：本文采用分母布局

矩阵求导实质

$\frac{dA}{dB}$：矩阵A中各元素对矩阵B中各元素求导

三种函数类型

9种函数类型殊途同归，下面介绍三种最基本的函数类型

1.f(x)为标量函数，x为向量

$$即f(x)=f(x_1,x_{2,}\cdots ,x_n)，x={\left[x_1,x_{2,\cdots },x_n\right]}^T$$
故有
$$\frac{df(x)}{dx}={\left[\frac{df(x)}{d{x}_1},\frac{df(x)}{d{x}_2}\cdots \frac{df(x)}{d{x}_n}\right]}^T=\nabla f(梯度)Gradient$$
这里就可以对分母布局进行解释：
此处x为列向量，其作为分母，故求导结果以列向量形式输出

2.f(x)为向量函数，x为标量

$$即f(x)={\left[f_1(x),f_2(x),\dots ,f_n(x)\right]}^T$$
故有
$$\frac{df(x)}{dx}=\left[\frac{d{f}_1(x)}{dx},\frac{d{f}_2(x)}{dx},\dots ,\frac{d{f}_n(x)}{dx}\right]$$

3.f(x)为向量函数，x为向量

$$即f(x)={\left[f_1(x),f_2(x),\dots ,f_n(x)\right]}^T,x={\left[x_1,x_{2,},\cdots ,x_n\right]}^T$$
故有

此矩阵又称为雅可比矩阵（Jacobian matrix）