【深度学习】反向传播 (BP) 计算｜链式法则

JNingWei

已于 2023-02-01 13:14:25 修改

阅读量5.7k

点赞数 2

分类专栏：深度学习文章标签：深度学习人工智能计算机视觉神经网络 cnn

于 2018-01-02 21:48:41 首次发布

本文链接：https://blog.csdn.net/jningwei/article/details/78956190

版权

深度学习专栏收录该内容

79 篇文章 60 订阅

订阅专栏

BP

每个epoch：
$\qquad$ 每个batch：
$\qquad\qquad$ 每个level (n = N, … to 1，即从后往前)：
$\qquad\qquad\qquad$ 分别计算出该层误差（对该层参数、该层输入数据）的导数：
$\qquad\qquad\qquad\qquad$ $\frac{\partial L}{\partial \omega^{n}} = \frac{\partial L}{\partial x^{n+1}} \frac{\partial x^{n+1}}{\partial \omega^{n}}$ (更新本level的 $\omega^{n}$ 时即用)
$\qquad\qquad\qquad\qquad$ $\frac{\partial L}{\partial x^{n}} = \frac{\partial L}{\partial x^{n+1}} \frac{\partial x^{n+1}}{\partial x^{n}}$ (留给底一层的level用)
$\qquad\qquad\qquad$ 更新参数：
$\qquad\qquad\qquad\qquad$ $\omega^{n} \leftarrow \omega^{n} - \eta \frac{\partial L}{\partial \omega^{n}}$
$\qquad\qquad\qquad\qquad$ $b^{n} \leftarrow b^{n} - \eta \frac{\partial L}{\partial b^{n}}$

Arg:

$\omega$ ：omega（欧米茄）
$\eta$ ：eta（艾塔）

Note：

BP中的 $\frac{\partial L}{\partial \omega^{n}}$ 和 $\frac{\partial L}{\partial x^{n}}$ 的计算结果来源于对 前馈计算时 的 $L = f(w^{n}x^{n})$ 的求导。

链式法则

$\frac{\partial L}{\partial \omega^{n}} = \frac{\partial L}{\partial x^{n+1}} \frac{\partial x^{n+1}}{\partial \omega^{n}} = \frac{\partial L}{\partial x^{n+2}} \frac{\partial x^{n+2}}{\partial x^{n+1}} \frac{\partial x^{n+1}}{\partial \omega^{n}}$