矩阵微分与向量函数Taylor展开

最新推荐文章于 2024-06-15 10:22:16 发布

a_big_pig

最新推荐文章于 2024-06-15 10:22:16 发布

阅读量3.3w

点赞数 32

分类专栏：深度学习计算机视觉数学基础文章标签：矩阵微分泰勒展开

本文链接：https://blog.csdn.net/a_big_pig/article/details/78994033

版权

深度学习同时被 3 个专栏收录

7 篇文章 0 订阅

订阅专栏

计算机视觉

3 篇文章 0 订阅

订阅专栏

数学基础

2 篇文章 0 订阅

订阅专栏

第一部分：矩阵微分

计算 $\frac{\partial F}{\partial X}$ 时，根据F和X的类型有不同的微分公式。F和X可以分别是标量、向量和矩阵。

1. 当X是标量时

当F是X的标量函数时，则 $\frac{\partial F}{\partial X}$ 就是一元函数的导数。
当F是函数向量时，设
$F = {F 1 (x), F 1 (x), . . ., F n (x)} T ，$ $F=\left \{ F_{1}(x),F_{1}(x),...,F_{n}(x) \right \}^{T}，$
则
$\partial F \partial X = {\partial F 1 ( x ) \partial x, \partial F 2 ( x ) \partial x, . . ., \partial F n ( x ) \partial x} T$ $\frac{\partial F}{\partial X}=\left \{ \frac{\partial F_{1}(x)}{\partial x},\frac{\partial F_{2}(x)}{\partial x},...,\frac{\partial F_{n}(x)}{\partial x} \right \}^{T}$
当F是函数矩阵时，设
$F = ⎧ ⎩ ⎨ ⎪ ⎪ f 11 . . . f n 1 . . . . . . . . . f 1 m . . . f n m ⎫ ⎭ ⎬ ⎪ ⎪ ，$ $F=\begin{Bmatrix} f_{11} & ... & f_{1m}\\ ... & ... & ...\\ f_{n1} & ... & f_{nm} \end{Bmatrix}，$
则
$\partial F \partial X = ⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ \partial f 11 \partial X . . . \partial f n 1 \partial X . . . . . . . . . \partial f 1 m \partial X . . . \partial f n m \partial X ⎫ ⎭ ⎬ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪$ $\frac{\partial F}{\partial X}=\begin{Bmatrix} \frac{\partial f_{11}}{\partial X} & ... & \frac{\partial f_{1m}}{\partial X}\\ ... & ... &... \\ \frac{\partial f_{n1}}{\partial X} & ... & \frac{\partial f_{nm}}{\partial X} \end{Bmatrix}$
求导法则

2. 当X是向量时

设 $X=\left \{ x_{1},x_{2},...,x_{m} \right \}^{T}$
- 当F是X的标量函数时，则

\partial F \partial X = {\partial F \partial x 1, \partial F \partial x 2, . . ., \partial F \partial x m} T

$\frac{\partial F}{\partial X}=\left \{ \frac{\partial F}{\partial x_{1}}, \frac{\partial F} {\partial x_{2}},...,\frac{\partial F}{\partial x_{m}}\right \}^{T}$ 这叫做F(X)的梯度，记为 grad F(X)。
这里写图片描述

- 当F是函数向量时，设

F = {f 1 (X), f 2 (X), . . ., f n (X)} T ，

$F=\left \{ f_{1}(X),f_{2}(X),...,f_{n}(X) \right \}^{T}，$
则

\partial F \partial X = \partial F \partial X T = {\partial F \partial x 1 \partial F \partial x 2 . . . \partial F \partial x m} = ⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ \partial f 1 \partial x 1 . . . \partial f n \partial x 1 \partial f 1 \partial x 2 . . . \partial f n \partial x 2 . . . . . . . . . \partial f 1 \partial x m . . . \partial f n \partial x m ⎫ ⎭ ⎬ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪

$\frac{\partial F}{\partial X}=\frac{\partial F}{\partial X^{T}}=\begin{Bmatrix} \frac{\partial F}{\partial x_{1}} & \frac{\partial F}{\partial x_{2}} & ... & \frac{\partial F}{\partial x_{m}}\end{Bmatrix}=\begin{Bmatrix} \frac{\partial f_{1}}{\partial x_{1}} & \frac{\partial f_{1}}{\partial x_{2}} & ... & \frac{\partial f_{1}}{\partial x_{m}}\\ ... & ... & ... & ...\\ \frac{\partial f_{n}}{\partial x_{1}} & \frac{\partial f_{n}}{\partial x_{2}} & ... & \frac{\partial f_{n}}{\partial x_{m}} \end{Bmatrix}$
这是先展开X后展开F。还可以先展开F后展开X，结果是一样的。
上述求导结果又称为Jaccobi矩阵。
这里写图片描述

- 当F是函数矩阵时，设

F = {f i j} n l

$F=\left\{f_{ij}\right\}_{nl}$
则

\partial F \partial X = {\partial F \partial x 1 \partial F \partial x 2 . . . \partial F \partial x m} T m n \times l

$\frac{\partial F}{\partial X}=\begin{Bmatrix} \frac{\partial F}{\partial x_{1}} & \frac{\partial F}{\partial x_{2}} & ... & \frac{\partial F}{\partial x_{m}} \end{Bmatrix}^{T}_{mn\times l}$
结果是m个n*l的矩阵在垂直方向上的叠加。

3. 当X是矩阵时

设

X = ⎧ ⎩ ⎨ ⎪ ⎪ x 11 . . . x n 1 . . . . . . . . . x 1 m . . . x n m ⎫ ⎭ ⎬ ⎪ ⎪

$X=\begin{Bmatrix} x_{11} & ... & x_{1m}\\ ... & ... & ...\\ x_{n1} & ... & x_{nm} \end{Bmatrix}$
- 当F是X的标量函数，则

\partial F \partial X = ⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ \partial F \partial x 11 . . . \partial F \partial x n 1 . . . . . . . . . \partial F \partial x 1 m . . . \partial F \partial x n m ⎫ ⎭ ⎬ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪

$\frac{\partial F}{\partial X}=\begin{Bmatrix} \frac{\partial F}{\partial x_{11}} & ... & \frac{\partial F}{\partial x_{1m}}\\ ... & ... & ...\\ \frac{\partial F}{\partial x_{n1}} & ... & \frac{\partial F}{\partial x_{nm}} \end{Bmatrix}$
- 当F是函数向量时，设

F = {f 1, f 2, . . ., f l} T

$F=\left\{f_{1},f_{2},...,f_{l}\right\}^{T}$ 则

F = {\partial f 1 \partial X, \partial f 2 \partial X, . . ., \partial f l \partial X} T l n \times m

$F=\left\{\frac {\partial f_{1}}{\partial X},\frac {\partial f_{2}}{\partial X},...,\frac {\partial f_{l}}{\partial X}\right\}^{T}_{ln\times m}$
- 当F是函数矩阵时，设

F = ⎧ ⎩ ⎨ ⎪ ⎪ f 11 . . . f l 1 . . . . . . . . . f 1 k . . . f l k ⎫ ⎭ ⎬ ⎪ ⎪

$F=\begin{Bmatrix} f_{11} & ... & f_{1k}\\ ... & ... & ...\\ f_{l1} & ... & f_{lk} \end{Bmatrix}$
则

\partial F \partial X = ⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ \partial f 11 \partial X . . . \partial f l 1 \partial X . . . . . . . . . \partial f 1 k \partial X . . . \partial f l k \partial X ⎫ ⎭ ⎬ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪

$\frac{\partial F}{\partial X}=\begin{Bmatrix} \frac{\partial f_{11}}{\partial X} & ... & \frac{\partial f_{1k}}{\partial X}\\ ... & ... & ...\\ \frac{\partial f_{l1}}{\partial X} & ... & \frac{\partial f_{lk}}{\partial X} \end{Bmatrix}$ ，其中矩阵的每个元素都是一个标量函数对矩阵的导数，每个元素都是一个nm的矩阵。

4. 复合函数的导数

这里写图片描述

第二部分：向量函数的Taylor展开

这里写图片描述

参考：[https://wenku.baidu.com/view/bfb50cf09e314332396893cf.html]

a_big_pig

关注

32
点赞
踩
120

收藏

觉得还不错? 一键收藏
12
评论
矩阵微分与向量函数Taylor展开

第一部分：矩阵微分计算∂F∂X\frac{\partial F}{\partial X}时，根据F和X的类型有不同的微分公式。F和X可以分别是标量、向量和矩阵。1. 当X是标量时当F是X的标量函数时，则∂F∂X\frac{\partial F}{\partial X}就是一元函数的导数。当F是函数向量时，设 F={F1(x),F1(x),...,Fn(x)}T，F=\left
复制链接

扫一扫

专栏目录