机器学习之神经网络

多层神经网络

前面说到的感知器是一种最基础的神经网络，他只有输入层和输出层，感知器只能处理线性可分问题，而对于非线性问题就需要多层神经网络。一般如下图所示，有多个层，比如左边的包含输入层、隐层和输出层，而右边的则包含了两个隐层。每层的神经元与下一神经元全互连，同层之间的神经元不会相连，输入层用于接收输入，经过隐层加工后再到输出层加工并输出。

如何训练多层网络

对于多层网络我们常用误差逆传播算法来训练，而我们最常见的BP神经网络指的是使用误差逆传播来训练的多层前馈神经网络。除此之外其他类型的神经网络也可能会用误差逆传播算法来训练。

总的来说，误差逆传播是使用梯度下降法，通过反向传播不断调整神经网络中各个权重从而使输出层的误差平方和最小。

BP神经网络

BP神经网络好的地方就是我们完全不必事先考虑怎么用数学方程来描述输入和输出之间的关系，转而考虑的是设计一个N层神经网络，而要多少层、每层要多少个节点就可以我们根据经验来设计，可通过不同的网络模型来看哪个模型能更好地拟合。

BP神经网络其实很直观很好理解，整个过程如下。

下面是一个三层（不算输入层）神经网络，两个输入经过几层网络后得到一个输出。