2.神经元模型

2.1神经元模型及表示

生物神经元和机器学习中神经元模型之间有许多相似之处和联系，这些联系和相似之处已经启发了机器学习中神经元模型的设计和改进。

生物神经元是大脑神经网络的基本构建单元，它接收来自其他神经元的输入，并通过突触传递神经冲动来控制其他神经元的活动。类似地，机器学习中的神经元模型也接收来自其他神经元的输入，并计算出输出，这个输出可以被其他神经元或外部系统使用。

在生物神经元构造的启发下，1943年心理学家W.McCulloch和数学家W.Pitts合作提出了人工神经元模型: M-P模型，也是当今大多数神经网络的基础原理。M-P模型由输入、权重、激活函数、输出等部分构成。单个神经元接受来自外界或上一层神经元的输入，乘上对应的权重并求和，结果经过激活函数后输出给下一层的神经元，其结构可以用下图表示：

此时你一定会有疑问，既然有了接受输入的‘树突’、处理信号的‘细胞体’，以及输出信号的‘突触’，那么激活函数有什么作用呢？实际上，激活函数主要用于将输出调整到固定的区间中，改变输出的值域，这样做的目的是为了规范神经网络中输出的数值相对大小，同时也能模拟神经元在一定阈值信号下激活与抑制的过程，激活函数要具有单调可导的特点，以保证传入信号的相对大小与输出成正比，同时能够满足求导等操作。

2.2常用激活函数

上文中简单介绍了激活函数，本节对常用的激活函数进行介绍，作为规范神经网络输出的一个部件，激活函数需要满足以下的特点：

1.非线性：激活函数能够引入非线性变换，使神经网络可以处理非线性问题。

2.可微性：激活函数必须是可导的，因为神经网络的训练过程是基于梯度下降的。

3.单调性：激活函数应该是单调的，即随着输入的增加，输出的值应该是单调递增或单调递减的。

4.饱和性：激活函数应该具有饱和性，即当输入值接近极值时，输出值应该饱和，这有助于防止梯度消失或爆炸。

5.连续性：激活函数应该是连续的，这有助于保证神经网络的稳定性和收敛性。

6.可调节性：激活函数的参数应该可以通过训练来调节，以便更好地适应不同的数据集和任务。

常用的激活函数有Sigmoid函数、ReLU函数、tanh 函数等：

Sigmoid函数：

从函数的形式可以看出，输入经过Sigmoid函数作用后，输出响应的值域被压缩到[0,1]之间，而0对应了生物神经元的“抑制状态”，1恰好对应了“兴奋状态”。不过再深入地观察还能发现，在 Sigmoid 型函数两端，对于大于5(或小于-5)的值无论多大(或多小)都会被压缩到1(或0)。如此便带来一个严重问题，即梯度的“饱和效应”(saturation effect )对照 Sigmoid 型函数的梯度图，大于5(或小于-5)部分的梯度接近 0，这会导致在误差反向传播过程中，导数处于该区域的误差将很难甚至根本无法传递至前层，进而导致整个网络无法训练(导数为0将无法更新网络参数 )。

ReLU函数：

为了避免梯度饱和效应的发生，Nair 和 Hinton 于2010 年将修正线性单元(Rectified Linear Unit，ReLU)引人神经网络。ReLU 函数是目前深度卷积神经网络中最为常用的激活函数之一。另外，根据 ReLU 函数改进的其他激活函数也展示出很好的性能。

ReLU 函数实际上是一个分段函数，其定义为:

ReLU 函数的梯度在 x>0时为 1，反之为0。对z>0部分完全消除了Sigmoid 型函数的梯度饱和效应。同时，在实验中还发现相比Sigmoid 型函数，ReLU 函数有助于随机梯度下降方法收敛，收敛速度约快6倍左右。正是由于ReLU 函数的这些优秀特性，ReLU 函数已成为目前卷积神经网络及其他深度学习模型( 如递归神经网络 RNN 等)激活函数的首选之一。

2.3信号传导过程举例

以单个神经元为例，假设我们现在设置了一个神经元，该神经元有两层输入，权重w1和w2分别为0.8与0.2，输入I1与I2分别为2与1，此时可以得到输入经求和后为：

0.8*2+0.2*4=2.4

将输出带入激活函数，以Sigmoid函数为例，得到最后输出为：

1/(1+exp(-2.4))=0.9168

可以发现，输入乘以对应的权重，经激活函数整流后输出规范在了0-1之间，同时通过不同的权重可以调整输入对输出的影响，这也使得神经元可以通过学习提取出数据的特征，给予不同数据权重。、

那么，现在有了单个神经元的模型，如何将其连接成一个网络，同时实现自动调整呢，随后，我们会对神经网络的学习过程—梯度下降进行介绍。