机器学习必刷题-手撕推导篇(2)：BP算法推导

本系列文章对常见的机器学习面试题进行了搜集、分类和整理，主要包括”手撕推导篇“、“模型比较篇”、“工程经验篇”以及“基础概念篇”等多个板块，旨在帮助广大算法工作者能够从容应对求职面试！

本文结构：

1.BP思想简要

2.变量定义（认真看，否则后面推导看不懂）

3.BP公式及推导（仅4个公式）

4.BP算法伪代码

推导一下BP反向传播算法（4个公式）

1. 主要思想：

由于**前馈神经网络(ANN)**的输出与实际值有误差，需要将该误差从后向前反向传播，直至传播到输入层。在反向传播的过程中，根据各级结点的误差调整各种参数的值，不断迭代上述过程，直至收敛。

2. 变量定义(重要)

上图是一个三层神经网络，layer1至layer3分别是输入层、隐藏层和输出层。如图，先定义一些变量（请认真看完并理解，否则后面推导看不懂！）：

3.公式及其推导

4.伪代码

更多参考：

• 反向传播四公式：https://blog.csdn.net/LucyGill/article/details/64920840