矩阵求导-CSDN博客

本文链接：https://blog.csdn.net/batuwuhanpei/article/details/50774268

矩阵求导

求导运算

向量函数对实值求导

定义向量函数

y = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ y 1 y 2 ⋮ y m ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥

$\mathbf y = \begin{bmatrix} y_1 \\ y_2 \\ \vdots\\ y_m \end{bmatrix}$
那么我们有向量函数

y $\mathbf y$ 对实值

x $x$ 求导得：

δ y δ x = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ δ y 1 δ x δ y 2 δ x ⋮ δ y m δ x ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$\frac{\delta \mathbf y}{\delta x} = \begin{bmatrix} \frac{\delta y_1}{\delta x} \\ \frac{\delta y_2}{\delta x} \\ \vdots \\ \frac{\delta y_m}{\delta x} \end{bmatrix}$

常用规则：
这里写图片描述

实值函数对向量求导

定义向量

x = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ x 1 x 2 ⋮ x n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥

$\mathbf x = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix}$
那么我们有实值函数

y $y$ 对向量

x $\mathbf x$ 求导得：

δ y δ x = [δ y δ x 1 δ y δ x 2 \dots δ y δ x n]

$\frac{\delta y}{\delta \mathbf x} = \begin{bmatrix} \frac{\delta y}{\delta x_1} & \frac{\delta y}{\delta x_2} & \cdots & \frac{\delta y}{\delta x_n} \end{bmatrix}$

常用规则：
这里写图片描述

向量函数对向量求导

设向量函数

y = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ y 1 y 2 ⋮ y m ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥

$\mathbf y = \begin{bmatrix} y_1 \\ y_2 \\ \vdots\\ y_m \end{bmatrix}$
向量

x = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ x 1 x 2 ⋮ x n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥

$\mathbf x = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix}$
那么向量函数

y $\mathbf y$ 对向量

x $\mathbf x$ 求导有：

δ y δ x = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ δ y 1 δ x 1 δ y 2 δ x 1 ⋮ δ y m δ x 1 δ y 1 δ x 2 δ y 2 δ x 2 ⋮ δ y m δ x 2 \dots \dots ⋱ \dots δ y 1 δ x n δ y 2 δ x n ⋮ δ y m δ x n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$\frac{\delta \mathbf y}{\delta \mathbf x} = \begin{bmatrix} \frac{\delta y_1}{\delta x_1} & \frac{\delta y_1}{\delta x_2} & \cdots & \frac{\delta y_1}{\delta x_n} \\ \frac{\delta y_2}{\delta x_1} & \frac{\delta y_2}{\delta x_2} & \cdots & \frac{\delta y_2}{\delta x_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\delta y_m}{\delta x_1} & \frac{\delta y_m}{\delta x_2} & \cdots & \frac{\delta y_m}{\delta x_n} \end{bmatrix}$

常用规则：
这里写图片描述

矩阵函数对实值求导

δ Y δ x = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ δ y 11 δ x δ y 21 δ x ⋮ δ y m 1 δ x δ y 12 δ x δ y 22 δ x ⋮ δ y m 2 δ x \dots \dots ⋱ \dots δ y 1 n δ x δ y 2 n δ x ⋮ δ y m n δ x ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$\frac{\delta \mathbf Y}{\delta x} = \begin{bmatrix} \frac{\delta y_{11}}{\delta x} & \frac{\delta y_{12}}{\delta x} & \cdots & \frac{\delta y_{1n}}{\delta x} \\ \frac{\delta y_{21}}{\delta x} & \frac{\delta y_{22}}{\delta x} & \cdots & \frac{\delta y_{2n}}{\delta x} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\delta y_{m1}}{\delta x} & \frac{\delta y_{m2}}{\delta x} & \cdots &\frac{\delta y_{mn}}{\delta x} \end{bmatrix}$
常用规则：
这里写图片描述

实值函数对矩阵求导

δ y δ X = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ δ y δ x 11 δ y δ x 12 ⋮ δ y δ x 1 q δ y δ x 12 δ y δ x 22 ⋮ δ y δ x 2 q \dots \dots ⋱ \dots δ y δ x x p 1 δ y δ x x p 2 ⋮ δ y δ x p q ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$\frac{\delta y}{\delta \mathbf X} = \begin{bmatrix} \frac{\delta y}{\delta x_{11}} & \frac{\delta y}{\delta x_{12}} & \cdots & \frac{\delta y}{\delta x_{x_{p1}}} \\ \frac{\delta y}{\delta x_{12}} & \frac{\delta y}{\delta x_{22}} & \cdots & \frac{\delta y}{\delta x_{x_{p2}}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\delta y}{\delta x_{1q}} & \frac{\delta y}{\delta x_{2q}} & \cdots & \frac{\delta y}{\delta x_{pq}} \end{bmatrix}$
常用规则：
这里写图片描述