机器学习中的数学：（四）矢量积分(Vector Calculus)

单变量微分（Differentiation of Univariate Functions）

定义：差商形式


正式定义：
割线在极限情况下变成切线

多项式导数的推导：
$$\begin{array}{rl}\frac{\mathrm{d}f}{\mathrm{d}x}& =\underset{h\to 0}{\lim }\frac{f(x+h)-f(x)}{h}\\ & =\underset{h\to 0}{\lim }\frac{(x+h{)}^n-x^n}{h}\\ & =\underset{h\to 0}{\lim }\frac{{\sum }_{i=0}^n\left(\begin{array}{l}n\\ i\end{array}\right)x^{n-i}{h}^i-x^n}{h}.\end{array}$$
由于$x^n=\left(\begin{array}{l}n\\ 0\end{array}\right)x^{n-0}{h}^0$所以：
$$\begin{array}{rl}\frac{\mathrm{d}f}{\mathrm{d}x}& =\underset{h\to 0}{\lim }\frac{{\sum }_{i=1}^n\left(\begin{array}{l}n\\ i\end{array}\right)x^{n-i}{h}^i}{h}\\ & =\underset{h\to 0}{\lim }\sum _{i=1}^n\left(\begin{array}{c}n\\ i\end{array}\right)x^{n-i}{h}^{i-1}\\ & =\underset{h\to 0}{\lim }\left(\begin{array}{l}n\\ 1\end{array}\right)x^{n-1}+\underset{\to 0\text{ as }h\to 0}{\underbrace{\sum _{i=2}^n\left(\begin{array}{l}n\\ i\end{array}\right)x^{n-i}{h}^{i-1}}}\\ & =\frac{n!}{1!(n-1)!}{x}^{n-1}=n{x}^{n-1}.\end{array}$$
其中的$\left(\begin{array}{l}n\\ i\end{array}\right)$是组合数$C_n^i$

泰勒级数

泰勒多项式：

对于$f\in {\mathcal{C}}^{\infty },f:\mathbb{R}\to \mathcal{R},f$在$x_0$的泰勒级数为:($f\in {\mathcal{C}}^{\infty }$表示$f$无穷多项都是是连续可微的，？)

当$x_0=0$时.称为麦克劳林级数(Maclaurin series)
泰勒多项式表示对函数的一种近似,多项式的项越多,与原先的函数就越接近.下图中，$T_i$表示$f$的$i$项展开。

三角函数的泰勒展开：
$$\begin{array}{rl}\cos (x)& =\sum _{k=0}^{\infty }(-1{)}^k\frac{1}{(2k)!}{x}^{2k},\\ \sin (x)& =\sum _{k=0}^{\infty }(-1{)}^k\frac{1}{(2k+1)!}{x}^{2k+1}.\end{array}$$

泰勒级数实际上是一种特殊的幂级数：

$$f(x)=\sum _{k=0}^{\infty }{a}_k(x-c{)}^k,幂级数$$

一些求导法则：

偏导数和梯度（Partial Differentiation and Gradients）

偏导数定义：
$$\begin{array}{rl}\frac{\partial f}{\partial x_1}& =\underset{h\to 0}{\lim }\frac{f\left(x_1+h,x_2,\dots ,x_n\right)-f(x)}{h}\\ & ⋮\\ \frac{\partial f}{\partial x_n}& =\underset{h\to 0}{\lim }\frac{f\left(x_1,\dots ,x_{n-1},x_n+h\right)-f(\mathbf{x})}{h}\end{array}$$
可以将函数对所有变量的偏导数写成一个行向量：
$${\nabla }_{\mathbf{x}}f=\mathrm{grad}f=\frac{\mathrm{d}f}{\mathrm{d}\mathbf{x}}=\left[\begin{array}{llll}\frac{\partial f(\mathbf{x})}{\partial x_1}& \frac{\partial f(\mathbf{x})}{\partial x_2}& \cdots & \frac{\partial f(\mathbf{x})}{\partial x_n}\end{array}\right]\in {\mathbb{R}}^{1\times n}$$
这个式子被称为$f$的梯度或者雅可比矩阵（Jacobian）。
对于一个多变量函数的偏导数（$f=(x_1,x_2),x_1=x_1(s，t),x_2=x_2(s,t)$）可以写成矩阵乘法的形式：
$$\frac{\mathrm{d}f}{\mathrm{d}(s,t)}=\frac{\partial f}{\partial \mathbf{x}}\frac{\partial \mathbf{x}}{\partial (s,t)}=\underset{=\frac{\partial f}{\partial \mathbf{x}}}{\underbrace{\left[\frac{\partial f}{\partial x_1}\frac{\partial f}{\partial x_2}\right]}}\underset{=\frac{\partial \mathbf{x}}{\partial (s,t)}}{\underbrace{\left[\begin{array}{cc}\frac{\partial x_1}{\partial s}& \frac{\partial x_1}{\partial t}\\ \frac{\partial x_2}{\partial s}& \frac{\partial x_2}{\partial t}\end{array}\right]}}.$$

为了检验梯度计算结果的正确行，可以采用梯度验证（Gradient checking）的方式进行检验：
这里用到了有限差分法（Finite difference method，FDM）：FDM are one of the most common approaches to the numerical solution of PDE（partial differential equations）, along with finite element methods.
就是将连续函数离散化。

FDM的基本原理就是利用一个很小的数$ϵ(10^{-4})$，判断自变量在这个范围中变化时对应的函数值的变化情况是否与梯度相似。
$$\frac{d}{d\theta }J(\theta )\approx \frac{J(\theta +ϵ)-J(\theta -ϵ)}{2ϵ},ϵ\to 0$$

向量值函数的梯度（Gradients of Vector-Valued Functions）

这样，$\mathbf{f}$就将原先的$\mathbf{x}\in {\mathbb{R}}^n$映射成${\mathbb{R}}^m$,对于每一个${\mathbf{f}}_i：{\mathbb{R}}^n\to \mathbb{R}$,也就是将原先的n维自变量映射成了一个实数。
所以：
$$\frac{\partial \mathbf{f}(x)}{\partial x_i}=\left[\begin{array}{c}\frac{\partial f_1(x)}{\partial x_i}\\ ⋮\\ \frac{\partial f_m(x)}{\partial x_i}\end{array}\right]\in {\mathbb{R}}^m$$
而一个函数对一个列向量的映射，也就是之前提到梯度，可以写成：
$${\nabla }_{\mathbf{x}}f=\mathrm{grad}f=\frac{\mathrm{d}f}{\mathrm{d}\mathbf{x}}=\left[\begin{array}{llll}\frac{\partial f(\mathbf{x})}{\partial x_1}& \frac{\partial f(\mathbf{x})}{\partial x_2}& \cdots & \frac{\partial f(\mathbf{x})}{\partial x_n}\end{array}\right]\in {\mathbb{R}}^{1\times n}$$
代入上式，得到向量值方程的一阶偏导数：
$$\begin{array}{rl}J& ={\nabla }_{x}f=\frac{\mathrm{d}f(x)}{\mathrm{d}x}=\left[\begin{array}{ccc}\frac{\partial f(x)}{\partial x_1}& \cdots & \frac{\partial f(x)}{\partial x_n}\end{array}\right]\\ & =\left[\begin{array}{ccc}\frac{\partial f_1(x)}{\partial x_1}& \cdots & \frac{\partial f_1(x)}{\partial x_n}\\ ⋮& & ⋮\\ \frac{\partial f_m(x)}{\partial x_1}& \cdots & \frac{\partial f_m(x)}{\partial x_n}\end{array}\right]\\ x& =\left[\begin{array}{c}{x}_1\\ ⋮\\ x_n\end{array}\right],J(i,j)=\frac{\partial f_i}{\partial x_j}.\end{array}$$
$\mathbf{f}:{\mathbb{R}}^n\to {\mathbb{R}}^m$的一阶偏导数称为雅可比矩阵。
雅可比矩阵用于求解映射之后图形的比例因子（scaling factor）

想要找到比例因子，可以找出对应的变换矩阵，这个矩阵的行列式的绝对值就是面积变化的比例。但是这个适用于线性变换，当面对非线性变换的时候，需要采取另一种策略。
想要知道当$x$变化的时候$f(x)$的变化情况，我们可以使用偏导数得到变化信息。所以，雅可比矩阵可以表示相对应的变换矩阵。

非线性的情况时，采用逼近的方式获得比例因子

向量和对应的映射所处的维度与偏导数的关系：

矩阵梯度（Gradients of Matrices）

矩阵的梯度的结果可能得到一个高维的矩阵，这种矩阵称为张量（Tensor）
两种计算矩阵梯度的方法：
一种是直接计算，最后将结果拼装起来，另一种是将矩阵变成一个向量，

$$\frac{d\mathbf{K}}{d\mathbf{R}}\in {\mathbb{R}}^{(N\times N)\times (M\times N)}$$
$$\frac{d{K}_{pq}}{d\mathbf{R}}\in {\mathbb{R}}^{1\times (M\times N)}$$
$$K_{pq}=r_p^{\top }{r}_q=\sum _{m=1}^M{\mathbf{R}}_{mq}{\mathbf{R}}_{mp}$$
$$\frac{\partial {\mathbf{K}}_{pq}}{\partial {\mathbf{R}}_{ij}}=\sum _{m=1}^M\frac{\partial }{\partial R_{ij}}{R}_{mp}{R}_{mq}={\partial }_{pqij},{\partial }_{}{\partial }_{pqij}=\{\begin{array}{ll}{R}_{iq}& \text{ if }j=p,p\ne q\\ R_{ip}& \text{ if }j=q,p\ne q\\ 2R_{iq}& \text{ if }j=p,p=q\\ 0& \text{ otherwise }\end{array}.$$

计算梯度时有用的恒等式（Useful Identities for Computing Gradients）

$$\begin{array}{rl}& \frac{\partial }{\partial \mathbf{X}}\mathbf{f}(\mathbf{X}{)}^{\top }={\left(\frac{\partial \mathbf{f}(\mathbf{X})}{\partial \mathbf{X}}\right)}^{\top }\\ & \frac{\partial }{\partial \mathbf{X}}\mathrm{tr}(\mathbf{f}(\mathbf{X}))=\mathrm{tr}\left(\frac{\partial \mathbf{f}(\mathbf{X})}{\partial \mathbf{X}}\right)\\ & \frac{\partial }{\partial \mathbf{X}}\det (\mathbf{f}(\mathbf{X}))=\det (\mathbf{f}(\mathbf{X}))\mathrm{tr}\left(\mathbf{f}(\mathbf{X}{)}^{-1}\frac{\partial \mathbf{f}(\mathbf{X})}{\partial \mathbf{X}}\right)\\ & \frac{\partial }{\partial \mathbf{X}}\mathbf{f}(\mathbf{X}{)}^{-1}=-\mathbf{f}(\mathbf{X}{)}^{-1}\frac{\partial \mathbf{f}(\mathbf{X})}{\partial \mathbf{X}}\mathbf{f}(\mathbf{X}{)}^{-1}\\ & \frac{\partial {\mathbf{a}}^{\top }{\mathbf{X}}^{-1}\mathbf{b}}{\partial \mathbf{X}}=-{\left({\mathbf{X}}^{-1}\right)}^{\top }\mathbf{a}{b}^{\top }{\left({\mathbf{X}}^{-1}\right)}^{\top }\\ & \frac{\partial {\mathbf{x}}^{\top }\mathbf{a}}{\partial \mathbf{x}}={\mathbf{a}}^{\top }\\ & \frac{\partial {\mathbf{a}}^{\top }\mathbf{x}}{\partial \mathbf{x}}={\mathbf{a}}^{\top }\\ & \frac{\partial {\mathbf{a}}^{\top }\mathbf{X}\mathbf{b}}{\partial \mathbf{X}}=\mathbf{a}{\mathbf{b}}^{\top }\\ & \frac{\partial {\mathbf{x}}^{\top }\mathbf{B}\mathbf{x}}{\partial \mathbf{x}}={\mathbf{x}}^{\top }\left(\mathbf{B}+{\mathbf{B}}^{\top }\right)\\ & \frac{\partial }{\partial s}(x-As{)}^{\top }W(x-As)=-2(x-As{)}^{\top }WA\text{ for symmetric }W\\ & (5.108)\end{array}$$

计算$\frac{\partial x^{\top }Bx}{\partial x}=x^{\top }(B+B^{\top })$:

反向传播和自动微分（Backpropagation and Automatic Differentiation）

为了计算损失函数（Loss Function）的最小值，这时候需要对损失函数对其所有的参数求偏导，也就是求出损失函数的梯度。但是用传统的链式法则会使得中间步骤十分繁琐，所以有了反向传播算法（Backpropagation Algorithm)可以有效地解决损失函数的梯度的问题，并且运算速度与传统的链式法则的计算方式相同。

深度网络的梯度（Gradients in a Deep Network）

在深度学习中，一个函数通常是由许多的函数复合而成的。
$$\mathbf{y}=\left(f_K\circ f_{K-1}\circ \cdots \circ f_1\right)(\mathbf{x})=f_K\left(f_{K-1}\left(\cdots \left(f_1(\mathbf{x})\right)\cdots \right)\right)$$

后一层神经元会使用前一层神经元的输出值作为该层的输入值，所以有：$f_i(x_{i-1})=\sigma ({\mathbf{A}}_{i-1}{x}_{i-1}+b_{i-1}),\sigma$ 为激活函数.$x_{i-1}$是第i层的输出值。

为了训练这个神经网络，我们需要求解出损失函数梯度。
假设：

$$\begin{gathered} f_0:=x \\ {f}_i:={\sigma }_i\left(A_{i-1}{f}_{i-1}+b_{i-1}\right),i=1,\dots ,K \end{gathered}$$
损失函数为：
L ( θ ) = ∥ y − f K ( θ , x ) ∥ 2 , θ = { A 0 , b 0 , … , A K − 1 , b K − 1 } L(\theta)=\|y-f_K(\theta,x)\|^2,\quad \theta=\{\boldsymbol A_0,\boldsymbol b_0,\dots, \boldsymbol A_{K-1},\boldsymbol b_{K-1}\} L(θ)=∥y−fK​(θ,x)∥2,θ={A0​,b0​,…,AK−1​,bK−1​}
要求解这个函数的最小值，我们需要对损失函数求偏导。
$$\begin{array}{rl}\frac{\partial L}{\partial {\mathbf{\theta }}_{K-1}}& =\frac{\partial L}{\partial {\mathbf{f}}_K}\frac{\partial {\mathbf{f}}_K}{\partial {\mathbf{\theta }}_{K-1}}\\ \frac{\partial L}{\partial {\mathbf{\theta }}_{K-2}}& =\frac{\partial L}{\partial {\mathbf{f}}_K}\frac{\partial f_K}{\partial f_{K-1}}\frac{\partial {\mathbf{f}}_{K-1}}{\partial {\mathbf{\theta }}_{K-2}}\\ \frac{\partial L}{\partial {\mathbf{\theta }}_{K-3}}& =\frac{\partial L}{\partial {\mathbf{f}}_K}\frac{\partial f_K}{\partial f_{K-1}}\frac{\partial {\mathbf{f}}_{K-1}}{\partial f_{K-2}}\frac{\partial {\mathbf{f}}_{K-2}}{\partial {\mathbf{\theta }}_{K-3}}\\ \frac{\partial L}{\partial {\mathbf{\theta }}_i}& =\frac{\partial L}{\partial {\mathbf{f}}_K}\frac{\partial f_K}{\partial f_{K-1}}\cdots \frac{\partial f_{i+2}}{\partial f_{i+1}}\frac{\partial {\mathbf{f}}_{i+1}}{\partial {\mathbf{\theta }}_i}\end{array}$$
这样看来，当我们需要计算$\frac{\partial L}{\partial {\mathbf{\theta }}_i}$时，我们可以利用之前的$\frac{\partial L}{\partial {\mathbf{\theta }}_{i+1}}$简化计算。
$$\frac{\partial L}{\partial {\mathbf{\theta }}_i}=\frac{\partial L}{\partial {\mathbf{\theta }}_{i+1}}\frac{\partial {\mathbf{f}}_{i+1}}{\partial {\mathbf{\theta }}_i}$$

自动微分（Automatic Differentiation）

反向传播算法实际上时自动微分中的一个特例。自动微分类似计算的时候用的还原法，将这些中间步骤用一个变量表示出来：
$$y=f(g(h(x)))=f(g(h(w_0)))=f(g(w_1))=f(w_2)=w_3$$

原始的链式法则：
$$\frac{dy}{dx}=\frac{dy}{d{w}_2}\frac{d{w}_2}{d{w}_1}\frac{d{w}_1}{dx}=\frac{df(w_2)}{d{w}_2}\frac{dg(w_1)}{d{w}_1}\frac{dh(w_0)}{dx}$$
自动微分有两种模式：向前模式（forward mode）和向后模式（reverse mode）
向前模式就是从内层函数到外层函数逐步进行求导，向后模式则是相反。

使用计算图（computational graphs），每个节点代表一个计算过程中的中间变量。
例如：$f(x)=\sqrt{x^2+\exp \left(x^2\right)}+\cos \left(x^2+\exp \left(x^2\right)\right)$用计算图可以表示为：

可以描述为：
$$Fori=d+1,\dots ,D:x_i=g_i(x_{pa(x_i)})$$
其中，$x_{Pa(x_i)}$表示节点$x_i$的父节点。$g_i(\cdot )$表示节点对应的计算函数。

这部分没什么弄懂，后续继续补充。
计算图的那个部分。
利用上面的关系可以得出：
$$\frac{df}{d{x}_i}=\sum _{j:i\in Pa(j)}\frac{df}{d{x}_i}\frac{d{x}_j}{d{x}_i}=\sum _{j:i\in Pa(j)}\frac{df}{d{x}_j}\frac{d{g}_i}{d{x}_i}$$
这实际上就是利用链式法则求解出对中间变量的微分。对最后一个中间变量的微分为1

符号微分（Symbolic differentiation）之所以复杂是因为在运算过程中并没有中间变量，所以想要直接编码解决难度较大

高阶偏导数（Higher-Order Derivatives）

当我们想要用牛顿法进行优化的时候，二阶偏导数就不得不被使用了。
有一个符号需要注意：
$\frac{{\partial }^{2}f}{\partial x\partial y}$这个意思时先对y求导，然后再对x求导。
海森矩阵（Hessian Matrix）
海森矩阵存储函数的二阶偏导数。
$${\nabla }_{x,y}^{2}f(x,y)=\mathbf{H}=\left[\begin{array}{cc}\frac{{\partial }^{2}f}{\partial x^2}& \frac{{\partial }^{2}f}{\partial x\partial y}\\ \frac{{\partial }^{2}f}{\partial x\partial y}& \frac{{\partial }^{2}f}{\partial y^2}\end{array}\right]$$
表示函数在$(x,y)$处的曲率

线性化和多元泰勒级数（Linearization and Multivariate Taylor Series）

假设一个函数：
$$\begin{array}{rl}f:{\mathbb{R}}^D& \to \mathbb{R}\\ \mathbf{x}& \mapsto f(\mathbf{x}),\mathbf{x}\in {\mathbb{R}}^D\end{array}$$
在$x_0$处光滑，设$\delta :=x-x_0$,所以：

$$f(x)=\sum _{k=0}^{\infty }\frac{D_{\mathbf{x}}^{k}f(x_0)}{k!}{\delta }^k$$
为$f(x)$在$x_0$处的多元泰勒公式。其中,$D_{\mathbf{x}}^{k}f(x_0)$，表示$f(x)$对x的k阶偏导。$D_{\mathbf{x}}^{k}f(x_0)$和${\delta }^k$都是k阶张量，其中：

$${\mathbf{\delta }}^k\in \mathbb{R}\stackrel{k\text{ times }}{\overbrace{D\times D\times \dots \times D}}$$
$${\mathbf{\delta }}^3:=\mathbf{\delta }\otimes \mathbf{\delta }\otimes \mathbf{\delta },{\mathbf{\delta }}^3[i,j,k]=\delta [i]\delta [j]\delta [k]$$
所以，（第一个中括号是前面偏导向量的索引）
$$D_{\mathbf{x}}^{k}f\left({\mathbf{x}}_0\right){\mathbf{\delta }}^k=\sum _{i_1=1}^D\cdots \sum _{i_k=1}^D{D}_{\mathbf{x}}^{k}f\left({\mathbf{x}}_0\right)\left[i_1,\dots ,i_k\right]\delta \left[i_1\right]\cdots \delta \left[i_k\right]$$
下面是上式的前三项：
$$\begin{array}{l}k=0,\dots ,3\text{ and }\delta :=x-x_0:\\ k=0:D_{\mathbf{x}}^{0}f\left({\mathbf{x}}_0\right){\mathbf{\delta }}^0=f\left({\mathbf{x}}_0\right)\in \mathbb{R}\\ k=1:D_{\mathbf{x}}^{1}f\left({\mathbf{x}}_0\right){\mathbf{\delta }}^1=\underset{1\times D}{\underbrace{{\nabla }_{\mathbf{x}}f\left({\mathbf{x}}_0\right)}}\underset{D\times 1}{\underbrace{\delta }}={\sum }_{i=1}^D{\nabla }_{\mathbf{x}}f\left({\mathbf{x}}_0\right)[i]\delta [i]\in \mathbb{R}\\ k=2:D_{\mathbf{x}}^{2}f\left({\mathbf{x}}_0\right){\mathbf{\delta }}^2=\mathrm{tr}(\underset{D\times D}{\underbrace{\mathbf{H}\left({\mathbf{x}}_0\right)}}\underset{D\times 1}{\underbrace{\delta }}\underset{1\times D}{\underbrace{{\delta }^{\top }}})={\delta }^{\top }\mathbf{H}\left({\mathbf{x}}_0\right)\mathbf{\delta }\\ ={\sum }_{i=1}^D{\sum }_{j=1}^{D}H[i,j]\delta [i]\delta [j]\in \mathbb{R}\\ k=3:D_{\mathbf{x}}^{3}f\left({\mathbf{x}}_0\right){\mathbf{\delta }}^3={\sum }_{i=1}^D{\sum }_{j=1}^D{\sum }_{k=1}^D{D}_x^{3}f\left({\mathbf{x}}_0\right)[i,j,k]\delta [i]\delta [j]\delta [k]\in \mathbb{R}\end{array}$$
其中$\mathbf{H}(x_0)$表示在$x_0$处的海森矩阵。

证明？
$$\begin{gathered} k=2:D_{\mathbf{x}}^{2}f\left({\mathbf{x}}_0\right){\mathbf{\delta }}^2=\mathrm{tr}(\underset{D\times D}{\underbrace{\mathbf{H}\left({\mathbf{x}}_0\right)}}\underset{D\times 1}{\underbrace{\delta }}\underset{1\times D}{\underbrace{{\delta }^{\top }}})={\delta }^{\top }\mathbf{H}\left({\mathbf{x}}_0\right)\mathbf{\delta } \\ =\sum _{i=1}^D\sum _{j=1}^{D}H[i,j]\delta [i]\delta [j]\in \mathbb{R} \end{gathered}$$

补充

反向传播（推导）

我们想要求的是对损失函数对参数的求导的结果：
$$\frac{dL}{d{v}_i},i\ge N-M+1$$
利用链式法则：
$$\frac{dL}{d{v}_i}=\sum _{j:i\in Pa(j)}\frac{dL}{d{v}_i}\frac{d{v}_i}{d{v}_j}$$
回想我们计算激活值的方法：
$$v_i={\sigma }_i(w_i\cdot v_{Pa(i)})$$
所以我们可以计算：
$$\frac{d{v}_i}{d{v}_j}={\sigma }_i^{\prime }({\mathbf{w}}_i\cdot {\mathbf{v}}_{Pa(i)})w_{iq},Pa(i{)}_q=j$$
举个例子，假设$Pa(i)=(2,7,9)$,则激活值为：
$$v_i={\sigma }_i({\mathbf{w}}_i\cdot {\mathbf{v}}_{(2,7,9)})$$
展开即为下面这些式子：
$$\begin{array}{rl}\frac{d{v}_i}{d{v}_2}& ={\sigma }_i^{\prime }\left({\mathbf{w}}_i\cdot {\mathbf{v}}_{(2,7,9)}\right)w_{i1}\\ \frac{d{v}_i}{d{v}_7}& ={\sigma }_i^{\prime }\left({\mathbf{w}}_i\cdot {\mathbf{v}}_{(2,7,9)}\right)w_{i2}\\ \frac{d{v}_i}{d{v}_9}& ={\sigma }_i^{\prime }\left({\mathbf{w}}_i\cdot {\mathbf{v}}_{(2,7,9)}\right)w_{i3}.\end{array}$$
我们用$v_i^{\prime }={\sigma }_i^{\prime }({\mathbf{w}}_i\cdot {\mathbf{v}}_{Pa(i)})$带入到原先的式子中：
$$\frac{d{v}_i}{d{v}_j}=v_i^{\prime }{w}_{iq},Pa(i{)}_q=j$$
对应的向量形式为：
$$\frac{d{v}_i}{d{\mathbf{v}}_{Pa(i)}}=v_i^{\prime }{\mathbf{w}}_i$$
于是我们可以很容易得到：(带入已知式)
$$\begin{array}{rl}\frac{dL}{d{\mathbf{w}}_i}& =\frac{dL}{d{v}_i}\frac{d{v}_i}{d{\mathbf{w}}_i}\\ & =\frac{dL}{d{v}_i}{\sigma }_i^{\prime }\left(\mathbf{w}\cdot {\mathbf{v}}_{\mathrm{P}\mathrm{a}(i)}\right){\mathbf{v}}_{\mathrm{P}\mathrm{a}(i)}\\ & =\frac{dL}{d{v}_i}{v}_i^{\prime }{\mathbf{v}}_{\mathrm{P}\mathrm{a}(i)}\end{array}$$