人工神经元模型及常见激活函数

最新推荐文章于 2024-09-28 19:51:01 发布

-牧野-

最新推荐文章于 2024-09-28 19:51:01 发布

阅读量3.4w

点赞数 8

分类专栏：深度学习文章标签：人工神经元激活函数

本文链接：https://blog.csdn.net/dcrmg/article/details/73743742

版权

深度学习专栏收录该内容

79 篇文章 20 订阅

订阅专栏

人工神经元模型

生物学上神经元通常由细胞体，细胞核，树突和轴突构成。

树突用来接收其他神经元传导过来的信号，一个神经元有多个树突；

细胞核是神经元中的核心模块，用来处理所有的传入信号；

轴突是输出信号的单元，它有很多个轴突末梢，可以给其它神经元的树突传递信号。

人工神经元的模型可以由下图来表述：

图中X1~Xn是从其它神经元传入的输入信号，Wi1~Win分别是传入信号的权重，θ表示一个阈值，或称为偏置（bias），偏置的设置是为了正确分类样本，是模型中一个重要的参数。神经元综合的输入信号和偏置（符号为-1~1）相加之后产生当前神经元最终的处理信号net，该信号称为净激活或净激励（net activation），激活信号作为上图中圆圈的右半部分f（*）函数的输入，即f(net)； f称为激活函数或激励函数（Activation Function），激活函数的主要作用是加入非线性因素，解决线性模型的表达、分类能力不足的问题。上图中y是当前神经元的输出。

常见的激活函数

1. Sigmoid

Sigmoid函数的特点是会把输出限定在0~1之间，如果是非常大的负数，输出就是0，如果是非常大的正数，输出就是1，这样使得数据在传递过程中不容易发散。

Sigmod有两个主要缺点，一是Sigmoid容易过饱和，丢失梯度。从Sigmoid的示意图上可以看到，神经元的活跃度在0和1处饱和，梯度接近于0，这样在反向传播时，很容易出现梯度消失的情况，导致训练无法完整；二是Sigmoid的输出均值不是0，基于这两个缺点，SIgmoid使用越来越少了。

2. tanh

tanh是Sigmoid函数的变形，tanh的均值是0，在实际应用中有比Sigmoid更好的效果。

3. ReLU

ReLU是近来比较流行的激活函数，当输入信号小于0时，输出为0；当输入信号大于0时，输出等于输入。

ReLU的优点：

1. ReLU是部分线性的，并且不会出现过饱和的现象，使用ReLU得到的随机梯度下降法（SGD）的收敛速度比Sigmodi和tanh都快。

2. ReLU只需要一个阈值就可以得到激活值，不需要像Sigmoid一样需要复杂的指数运算。

ReLU的缺点：

在训练的过程中，ReLU神经元比价脆弱容易失去作用。例如当ReLU神经元接收到一个非常大的的梯度数据流之后，这个神经元有可能再也不会对任何输入的数据有反映了，所以在训练的时候要设置一个较小的合适的学习率参数。

4. Leaky-ReLU

相比ReLU，Leaky-ReLU在输入为负数时引入了一个很小的常数，如0.01，这个小的常数修正了数据分布，保留了一些负轴的值，在Leaky-ReLU中，这个常数通常需要通过先验知识手动赋值。

5. Maxout

Maxout是在2013年才提出的，是一种激发函数形式，一般情况下如果采用Sigmoid函数的话，在前向传播过程中，隐含层节点的输出表达式为：

其中W一般是二维的，这里表示取出的是第i列，下标i前的省略号表示对应第i列中的所有行。而在Maxout激发函数中，在每一个隐含层和输入层之间又隐式的添加了一个“隐含层”，这个“隐隐含层”的激活函数是按常规的Sigmoid函数来计算的，而Maxout神经元的激活函数是取得所有这些“隐隐含层”中的最大值，如上图所示。

Maxout的激活函数表示为：

f(x)=max(wT1x+b1,wT2x+
b2)