13 - 深度学习自动微分的Forward mode和Reverse mode的详细推导

取个名字真难呐

已于 2022-03-20 14:27:38 修改

阅读量927

点赞数

分类专栏： python 文章标签： pytorch

于 2022-03-19 20:56:44 首次发布

本文链接：https://blog.csdn.net/scar2016/article/details/123601773

版权

75 篇文章 2 订阅

订阅专栏

1. 概述

在深度神经网络中，我们一般需要构造模型的前向运算和后向运算。其中实线是前向运算，虚线为后向运算。

在这里插入图片描述

定义一个函数如下：
$f(x_1,x_2)=\ln(x_1)+x_1x_2-\sin(x_2)$
将上式公式转换成图节点形式如下：

输入定义：
$\begin{aligned}v_{-1}&=x_1\qquad=2;\\ v_0&=x_2\qquad=5;\end{aligned}$
中间节点：
$\begin{aligned}v_1&=\ln v_{-1} \qquad&&=\ln2\\ v_2&=v_{-1}\times v_0\qquad &&=2\times5\\ v_3&=\sin v_0 &&=\sin 5\\ v_4&=v_1+v_2\qquad&&=0.693+10\\ v_5&=v_4-v_3\qquad&&=10.693+0.959\end{aligned}$
输出节点：
$y=v_5\qquad=11.652$

作用：输入节点的变化对中间节点和输出节点的影响
定义偏导数如下：
$\dot{v}_{-1}=\frac{\partial v_{-1}}{\partial x_1}$
输入偏导如下：
$\begin{aligned}\frac{\partial v_{-1}}{\partial x_1}&=\dot{v}_{-1}&&=\dot{x}_1\qquad&&&=1\\\\ \frac{\partial v_{0}}{\partial x_1}&=\dot{v_0}&&=\dot{x}_2\qquad&&&=0\end{aligned}$
中间节点偏导：
$\begin{aligned}\frac{\partial v_{1}}{\partial x_1}&=\dot{v}_1&&=\frac{\dot{v}_{-1}}{v_{-1}}\qquad&&&&=1/2\\\\ \frac{\partial v_{2}}{\partial x_1}&=\dot{v}_2&&=\dot{v}_{-1}v_0+v_{-1}\dot{v}_0\qquad&&&&=1\times5+2\times0\\\\ \frac{\partial v_{3}}{\partial x_1}&=\dot{v}_3&&=\dot{v}_0\times\cos v_0&&&&=0\times\cos 5\\\\ \frac{\partial v_{4}}{\partial x_1}&=\dot{v}_4&&=\dot{v}_1+\dot{v}_2&&&&=0.5+5\\\\ \frac{\partial v_{5}}{\partial x_1}&=\dot{v}_5&&=\dot{v}_4-\dot{v}_3&&&&=5.5-0 \end{aligned}$
输出节点：
$\begin{aligned}\frac{\partial y}{\partial x_1}&=\dot{y}&&=\dot{v}_5&&&&=5.5\end{aligned}$

作用：输出节点的变化对中间节点和输入节点的影响
举例转换：
$\frac{\partial y}{\partial v_3}=\frac{\partial y}{\partial v_5}·\frac{\partial v_5}{\partial v_3}$
当一个节点 $v_0$ 的父节点既有 $v_2$ 又有 $v_3$ ，那么可得：
$\frac{\partial y}{\partial v_0}=\frac{\partial y}{\partial v_2}·\frac{\partial v_2}{\partial v_0}+\frac{\partial y}{\partial v_3}·\frac{\partial v_3}{\partial v_0}$

关注