向量求导

最新推荐文章于 2025-02-27 19:10:20 发布

敲敲敲代码_

最新推荐文章于 2025-02-27 19:10:20 发布

阅读量1.7k

点赞数

文章标签：线性代数矩阵 python

本文链接：https://blog.csdn.net/m0_55005568/article/details/132213971

版权

因变量为标量，自变量为向量

参考
$y$ 为因变量，标量； $X=[x_1,x_2,\dots,x_n]^T$ 为自变量是向量，n维。
$y = f (X)$ ,即！！ $f(x_1,x_2,\dots,x_n)$
因此可以直接求导：
$\frac{\partial y}{\partial X} = (\frac{\partial y}{\partial x_1};\frac{\partial y}{\partial x_2};\dots;\frac{\partial y}{\partial x_n})$
求导结果为n维向量
以 $\vec a ^T\vec x$ :表示y为两个向量的内积，结果为一个标量
则求 $\frac{\partial y}{\partial \vec x}$ ，只需求出所有的 $\frac{\partial y}{\partial \vec x_i}$ 即可。
具体方法为：
将 $y$ 的表达式展开成累加和的形式，然后套用标量的求导法则即可，这一方法适用于所有多维情况的求导。
解：
$\vec a^T\vec x=\sum_{i=1}^n a_i x_i$
故对 $\forall i$ :
$\frac{\partial y}{\partial x_i} = a_i$
故：
$\begin{aligned} \frac{\partial y}{\partial \vec x}&=(\frac{\partial y}{\partial x_1};\frac{\partial y}{\partial x_2};\dots;\frac{\partial y}{\partial x_n}) \\ ~&=(a_1;a_2;\dots ;a_n) \\ ~&=a \end{aligned}$

注意：若 $y=\vec x 点乘 \vec x$ , 则求导结果是 $2\vec x$

例子：

注意图中，向量 $x$ 与 $w$ 均写成了1n的形式，而不是我们通常的n1，因此最终算出来的结果里面为 $x^T$ ，而不是 $x$

因变量、自变量均为向量

当自变量和因变量均为向量时，求导结果为一个矩阵，我们称该矩阵为雅可比矩阵(Jacobian Matrix)。

特别的，如果X为n*m的矩阵，w为m维向量，则
$\frac{\partial X}{\partial \vec w} = X$
证明：
设
$\begin{bmatrix} x_{11}&x_{12}&\dots&x_{1m}\\ x_{21}&x_{22}&\dots&x_{2m}\\ \vdots&\vdots&\ddots&\vdots\\ x_{n1}&x_{n2}&\dots&x_{nm} \end{bmatrix}, w = \begin{bmatrix} w_{1}\\ w_2\\ \vdots\\ w_m \end{bmatrix}$
则，
$\vec z=Xw=\begin{bmatrix} x_{11}w_1+x_{12}w_2+\dots+x_{1m}w_m\\ x_{21}w_1+x_{22}w_2+\dots+x_{2m}w_m\\ \vdots\\ x_{n1}w_1+x_{n2}w_2+\dots+x_{nm}w_m \end{bmatrix}=\begin{bmatrix} z_1\\ z_2\\ \vdots\\ z_n \end{bmatrix}$
则
$\begin{aligned} \frac{\partial X\vec w}{\partial \vec w} &= \frac{\partial \vec z}{\partial \vec w}\\ &=\begin{bmatrix} \frac{\partial z_1}{\partial w_1}&\frac{\partial z_1}{\partial w_2}&\dots&\frac{\partial z_1}{\partial w_m}\\ \frac{\partial z_2}{\partial w_1}&\frac{\partial z_2}{\partial w_2}&\dots&\frac{\partial z_2}{\partial w_m}\\ \vdots&\vdots&\ddots&\vdots\\ \frac{\partial z_n}{\partial w_1}&\frac{\partial z_n}{\partial w_2}&\dots&\frac{\partial z_n}{\partial w_m}\\ \end{bmatrix}\\ &=\begin{bmatrix} x_{11}&x_{12}&\dots&x_{1m}\\ x_{21}&x_{22}&\dots&x_{2m}\\ \vdots&\vdots&\ddots&\vdots\\ x_{n1}&x_{n2}&\dots&x_{nm} \end{bmatrix}\\ &=X \end{aligned}$
例子：