深度学习笔记1 BP神经网络

1.BP神经网络的概念

        人工神经网络是模型生物神经网络进行信息处理的一种数学模型，BP神经网络是人工神经网络的一种经典算法BP（反向传播）算法的特征利用输出后的误差来估计输出层的直接前导误差，再用这个误差去估计更前一层的误差，如此一层一层的反向传播下去，就获得了所有其他各层的误差估计，所以BP神经网络分两步：1.信号的正向传播和误差的逆向传播。正向传播时输入时输入信号进过隐层的处理后传向输出层，若输出层节点未能得到期望的输出，则转入误差的逆向传播阶段，将输出误差按某种子形式通过隐层向输出层返回，并分摊个隐层的各个节点从而获得各个单元的参考误差，做为修改各单元权值的依据。

2.常用的激活函数

 

3.BP神经网路的结构

下图是一种4层神经网络主要包括：输入层、隐藏层1、隐藏层2、输出层