多层神经网络ANN

本文基于 cnblog学习总结，基于的博客地址如下： http://www.cnblogs.com/ronny/p/ann_02.html

在实际应用过程中，单个神经元不能拟合太复杂的映射关系，我们需要构建更复杂的网络来逼近那些更复杂的目标函数。使用多层网络有时可以经过更少的迭代训练就能找到很好的收敛关系。

多层神经网络是由多个层结构组成的网络系统，他的每一层都是若干个神经元结点构成，该层的任意一个结点都与上一层的每一个结点相连，由他们提供输入，经过计算产生该结点的输出，并作为下层结点的输入。
任何多层的网络结构必须有一输入层、一个输出层。

输入层的每一个结点就是一个原始数据。

什么类型的函数可以使用多层网络来表示呢？或者说什么样的分类问题可以用多层网络来表示呢？答案是：任意函数。任意函数可以被一个有三层单元的网络以任意精度逼近(Cybenko 1988)。但是值得注意的是，我们使用的梯度下降算法并没有搜索整个权值空间，所以我们很可能会漏掉那个最合适的权值集合。

过度拟合

因为我们收集到的样本中有些样本可能由于我们分类错误等原因，造成了一个错误的样本用例，实际上神经网络