神经网络简单介绍

一、神经网络是什么？

目前最广泛使用的定义是Kohonen于1988年的描述，神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应。

二、神经网络的组成

1、神经元模型

神经元模型，即上述定义中的简单单元。

在生物神经网络中，每个神经元与其他神经元相连，当它兴奋时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过了一个阈值，那么它就会激活，即兴奋起来。向其他神经元发送化学物质。

我们把上述的这种神经元模型抽象出来，这就是M-P神经元模型：

神经元接受输入x，通过带权重w的连接进行传递，将总输入信号与神经元的阈值进行比较，最后通过激活函数处理确定是否激活。

2、阈值

阈值，又称为bias，其含义有点类似阀门。在计算中，可以将阈值看作一个固定输入为-1的哑节点对应的连接权重。

3、激活函数

理想中的激活函数是阶跃函数，但实际使用中由于阶跃函数不光滑，不连续，我们一般使用sigmoid或者tanh函数，如下：

两者都是将较大范围的输入值挤压到一个小范围内，如(0，1)或者(-1, 1)，即上述的确定神经元是否激活。

三、多层前馈神经网络

两层神经元，即输入层+输出层(M-P神经元),构成感知机。而多层功能神经元相连构成多层前馈神经网络，输入层与输出层之间的一层神经元，称为隐层：

如图所示，每层神经元与下一层神经元互连，神经元之间不存在同层连接，也不存在跨层链接，这样的结构称多层前馈神经网络。

四、误差逆传播

神经网络学习的过程，其实就是根据训练数据，来调整神经元之间的连接权w以及每个功能神经元阈值b的过程。

误差逆传播就是其中一种广为人知的训练方法，其核心的思想非常简单，对于训练数据(x，y)，若当前神经网络的输出为Y，则神经网络的权重：

w = w + *w， 其中*w = n(y - Y)x

从上可以看出，假设训练结果正确，则权重w不会发生改变；假如错误，则会对w进行一定调整，其中n为学习率，对学习速度有影响。多层神经网络从输出层往输入层逆方向传播误差进行权重调整，即所谓的误差逆传播算法。

误差逆传播算法基于梯度下降，这里就不展开描述，详细可以看我的另一篇博客：梯度下降法

五、最优解

神经网络的训练过程即是一个参数寻优过程，基于梯度下降求得的可能是局部最优但不一定是全局最优解：

所以实际调参过程中，往往需要多次试验，才能得到一个较为满意的模型。