BP学习算法-构建三层神经网络

---

引：

    人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。在人工神经网络发展的第二次热潮时期，1986年，鲁姆尔哈特（Rumelhart）和麦克劳（McCellan）等在《ParallelDistributedProcessing》中提出反向传播学习算法（B-P算法）。
    下面首先对神经网络做简单的介绍，然后再结合实例对B-P算法的原理和编程实现的步骤进行剖析，代码实现部分附在最后面。

---

正文：

[ 1 ]神经网络模型

    神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。人脑中的神经网络是一个非常复杂的组织。成人的大脑中估计有1000亿个神经元之多，它们彼此交织相连，可以完成学习、记忆、概括、推理等复杂工作。而人工神经网络也以神经元作为基本单位，在不断的训练过程中形成记忆，从而完成较为复杂的推理预测工作，其基本模型包括单层神经网络、多层神经网络以及全连接神经网络，如下图所示：