BP神经网络

    前向神经网络

      前向神经网络其实可以看成是多个逻辑回归的组合，只是不再是由输入直接得到结果，而是要经过隐层。其代价函数也类似逻辑函数代价函数，只不过要对各个类别求和：

  

    误差逆传播神经网络

      多层神经网络的训练需要强大的学习算法，误差逆传播（error BackPropagation，简称BP）算法是杰出代表，该算法的核心思想是先通过前向神经网络（FP）计算训练误差，利用训练误差反向作用于隐层神经元，从而调整连接权和每个神经元阈值，不断更新使得训练误差达到最小值。

     现实任务中使用神经网络时，大多是在使用BP算法进行训练，不仅可以用于多层前馈神经网络，还可用于其他类型的神经网络，例如训练递归神经网络&#x