线性代数 标量、向量、矩阵之间的求导

函数标量 f f f函数向量(函数组成的向量) y y y函数矩阵(函数组成的矩阵) Y Y Y
标量 x正切向量
向量 x x x梯度向量Jacobian 矩阵
矩阵 X X X

一、标量 f f f 关于 标量 x 的导数
d f d x \frac{\mathbb{d}f}{\mathbb{dx}} dxdf
二、向量 y y y 关于 标量 x 的导数
∂ y ∂ x = [ ∂ f 1 ∂ x ∂ f 2 ∂ x . . . ∂ f n ∂ x ] \frac{\partial y}{\partial\mathbb{x}} = \begin{bmatrix} \frac{\partial f_1}{\partial \mathbb{x}} \\ \frac{\partial f_2}{\partial \mathbb{x}} \\ ... \\ \frac{\partial f_n}{\partial \mathbb{x}} \end{bmatrix} xy=xf1xf2...xfn
此时 ∂ y ∂ x \frac{\partial y}{\partial\mathbb{x}} xy y y y正切向量

三、矩阵 Y Y Y VS 标量 x
∂ Y d x = [ ∂ f 11 ∂ x ∂ f 12 ∂ x . . . ∂ f 1 n ∂ x ∂ f 21 ∂ x ∂ f 22 ∂ x . . . ∂ f 2 n ∂ x . . . . . . . . . . . . ∂ f m 1 ∂ x ∂ f m 2 ∂ x . . . ∂ f m n ∂ x ] \frac{\partial Y}{\mathbb{dx}} = \begin{bmatrix} \frac{\partial f_{11}}{\partial \mathbb{x}} & \frac{\partial f_{12}}{\partial \mathbb{x}} & ...& \frac{\partial f_{1n}}{\partial \mathbb{x}} \\ \frac{\partial f_{21}}{\partial \mathbb{x}} & \frac{\partial f_{22}}{\partial \mathbb{x}} & ... & \frac{\partial f_{2n}}{\partial \mathbb{x}} \\ ...&...&...&... \\ \frac{\partial f_{m1}}{\partial \mathbb{x}} & \frac{\partial f_{m2}}{\partial \mathbb{x}} & ... & \frac{\partial f_{mn}}{\partial \mathbb{x}} \end{bmatrix} dxY=xf11xf21...xfm1xf12xf22...xfm2............xf1nxf2n...xfmn

四、标量 f f f VS 向量 x x x
∂ f ∂ x = [ ∂ f ∂ x 1 ∂ f ∂ x 2 . . . ∂ f ∂ x n ] \frac{\partial f}{\partial x}=\begin{bmatrix} \frac{\partial f}{\partial x_1} & \frac{\partial f}{\partial x_2}&...&\frac{\partial f}{\partial x_n} \end{bmatrix} xf=[x1fx2f...xnf]

∂ f ∂ x \frac{\partial f}{\partial x} xf f f f 在空间 R n \mathbb{R}^n Rn梯度向量

五、向量 y y y 关于 向量 x x x 的导数
∂ y ∂ x = [ ∂ f 1 ∂ x ∂ f 2 ∂ x . . . ∂ f m ∂ x ] = [ ∂ f 1 ∂ x 1 ∂ f 1 ∂ x 2 . . . ∂ f 1 ∂ x n ∂ f 2 ∂ x 1 ∂ f 2 ∂ x 2 . . . ∂ f 2 ∂ x n . . . . . . . . . . . . ∂ f m ∂ x 1 ∂ f m ∂ x 2 . . . ∂ f m ∂ x n ] \frac{\partial y }{\partial x} = \begin{bmatrix} \frac{\partial f_1}{\partial x} \\\frac{\partial f_2}{\partial x} \\...\\\frac{\partial f_m}{\partial x} \end{bmatrix} =\begin{bmatrix} \frac{\partial f_1}{\partial x_1} & \frac{\partial f_1}{\partial x_2}&...&\frac{\partial f_1}{\partial x_n} \\ \frac{\partial f_2}{\partial x_1} & \frac{\partial f_2}{\partial x_2}&...&\frac{\partial f_2}{\partial x_n} \\ ... & ... &...& ... \\ \frac{\partial f_m}{\partial x_1} & \frac{\partial f_m}{\partial x_2}&...&\frac{\partial f_m}{\partial x_n} \\ \end{bmatrix} xy=xf1xf2...xfm=x1f1x1f2...x1fmx2f1x2f2...x2fm............xnf1xnf2...xnfm
矩阵 ∂ y ∂ x \frac{\partial y }{\partial x} xy 称为 Jacobian 矩阵

六、函数矩阵 Y Y Y 关于向量 x x x 的导数

函数矩阵 Y Y Y 中的每个函数 y y y 都分别对 向量 x x x 求导
∂ Y ∂ x = [ ∂ f 11 ∂ x ∂ f 12 ∂ x . . . ∂ f 1 n ∂ x ∂ f 21 ∂ x ∂ f 22 ∂ x . . . ∂ f 2 n ∂ x . . . . . . . . . . . . ∂ f n 1 ∂ x ∂ f n 2 ∂ x . . . ∂ f n n ∂ x ] \frac{\partial Y }{\partial x} = \begin{bmatrix} \frac{\partial f_{11}}{\partial x} & \frac{\partial f_{12}}{\partial x}&...&\frac{\partial f_{1n}}{\partial x} \\ \frac{\partial f_{21}}{\partial x} & \frac{\partial f_{22}}{\partial x}&...&\frac{\partial f_{2n}}{\partial x} \\ ... & ...&...&... \\ \frac{\partial f_{n1}}{\partial x} & \frac{\partial f_{n2}}{\partial x}&...&\frac{\partial f_{nn}}{\partial x} \end{bmatrix} xY=xf11xf21...xfn1xf12xf22...xfn2............xf1nxf2n...xfnn

其中的每个元素 ∂ f i j ∂ x \frac{\partial f_{ij}}{\partial x} xfij 都是 矩阵 Y Y Y 中每个元素的梯度向量,参考四

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值