BP(back propagation)神经网络推导

深度学习知识点总结

BP算法详细推导

BP算法推导手写版

推导思路

一、基本概念

1、定义

BP神经网络是一种通过误差反向传播算法进行误差校正的多层前馈神经网络，其最核心的特点是：信号是前向传播，误差是反向传播。前向传播过程中，将误差信号原路返回，修改各层权重。即计算误差输出时按从输入到输出的方向进行；调整权值和阈值则从输出到输入的方向进行。

2、结构

BP神经网络包含输入层、隐藏层和输出层，其中隐藏层可有多个，其中，输入层和输出层的节点个数是固定的(为输入样本的变量个数和输出标签个数)，但隐藏层的节点个数不固定。

3、前向传播过程举例

 前向传导

4、反向传播过程举例

反向传播