《机器学习》 第5章 神经网络总结

1. 神经网络的定义

人工神经网络，简称神经网络，是由具有适应性的简单单元组成的广泛并行互联的网络，它的组织能够模拟生物神经系统对真实世界事物所做出的交互反应。在机器学习中谈论神经网络时指的时"神经网络学习"，或者说，是机器学习与神经网络这两个学科领域的交叉部分。
详细内容请见 人工神经网络 维基百科

2. 模型

1. 神经元模型：著名的"M-P神经元模型"
   

2. 感知机与多层网络
   

3. 误差逆传播算法（BP算法）（重点）

3.1 重要公式推导

此算法的目的是对上述多层神经网络的训练，而对神经网络的训练实质上就是通过数据运算确定神经网络中各个未知参数的过程。误差逆传播算法(error BackPropagation)算法是最杰出的算法。
上图中共有4类、q(d+l)+q+l个参数需要确定（对应下面推导的四个公式），分别是下列的两类阈值，两类权重（图中有误，有空将改）。


其中链式法则部分就是把下列公式逐层代入得到的。

3.2 对BP算法的理解

这里要再提一下，这个算法最终的目的：计算出前面说的4类、q(d+l)+q+l个未知参数。怎么实现这一步？或者说这一步通过怎样的方式体现？均方误差（公式5.4）达到最小值。怎么达到最小值？梯度下降策略。具体的实现更偏向数学。
误差逆传播算法 维基百科