BP算法是机器学习中常用算法之一,全称是误差反向传播(Error Back Propagation, BP)算法,对应的神经网络为前馈网络,因此前馈网络也被称之为BP网络 BP算法由数据的正向传播和反向传播两部分组成
正向传播:输入的数据通过输入层输入后经过隐藏层从输出层输出,如下图所示
如果输出层实际输出与预期值相比误差较大则反向传播,否则学习结束
反向传播:反向传播的前提是实际输出与预期误差较大,传播的数据是误差值(实际输出值与预期值之差),传播过程中将误差分摊给各个单元,通过各个单元的误差反馈调整每个单元的权值,反向传播的过程如下图所示
误差反向传播并将误差值分摊给各个单元,以各个单元的与分摊误差的差值作为调节权值的依据,以此调节权值的过程称之为机器学习