激活函数（Activation Function）

目录

1 激活函数的概念和作用

1.1 激活函数的概念

1.2 激活函数的作用

1.3 通俗的理解一下激活函数(图文结合)

1.3.1 无激活函数的神经网络

1.3.2 带激活函数的神经网络

2 神经网络梯度消失与梯度爆炸

2.1 简介梯度消失与梯度爆炸

2.2 梯度不稳定问题

2.3 产生梯度消失的根本原因

2.4 产生梯度爆炸的根本原因

2.5 当激活函数为sigmoid时，梯度消失和梯度爆炸哪个更容易发生？

2.6 如何解决梯度消失和梯度爆炸

3 激活函数的比较

3.1 Sigmoid

3.1.1 公式

3.1.2 在什么情况下适合使用 Sigmoid 激活函数？

3.1.3 缺点

3.2 tanh函数

3.3 ReLU

3.4 Leaky ReLU

3.5 ELU (Exponential Linear Units) 函数

3.6 PReLU（Parametric ReLU）

3.7 Softmax

3.8 Swish 

3.9 Maxout

3.10 Softplus

4 应用中如何选择合适的激活函数？

1 激活函数的概念和作用
1.1 激活函数的概念
        激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。类似于人类大脑中基于神经元的模型，激活函数最终决定了要发射给下一个神经元的内容。

 

 

        在人工神经网络中，一个节点的激活函数定义了该节点在给定的输入或输入集合下的输出。标准的计算机芯片电路可以看作是根据输入得到开（1）或关（0）输出的数字电路激活函数。因此，激活函数是确定神经网络输出的数学方程式。

        首先我们来了解一下人工神经元的工作原理，大致如下：

 

 

        上述过程的数学可视化过程如下图所示：

 

1.2 激活函数的作用
        关于神经网络中的激活函数的作用，通常都是这样解释：不使用激活函数的话，神经网络的每层都只是做线性变换，多层输入叠加后也还是线性变换。因为线性模型的表达能力通常不够，所以这时候就体现了激活函数的作用了，激活函数可以引入非线性因素。疑问就来了，激活函数是如何引入非线性因素呢？

1.3 通俗的理解一下激活函数(图文结合)
        为了解释激活函数如何引入非线性因素，接下来让我们以神经网络分割平面空间作为例子。

1.3.1 无激活函数的神经网络
　　神经网络最简单的结构就是单输出的单层感知机，单层感知机只有输入层和输出层，分别代表了神经感受器和神经中枢。下图是一个只有2个输入单元和1个输出单元的简单单层感知机。图中x1、x2代表神经网络的输入神经元受到的刺激，w1、w2代表输入神经元和输出神经元间连接的紧密程度，b代表输出神经元的兴奋阈值，y为输出神经元的输出。我们使用该单层感知机划出一条线将平面分割开，如图所示：

        同理，我们也可以将多个感知机（注意，不是多层感知机）进行组合获得更强的平面分类能力，如图所示：

 

 

        再看看包含一个隐层的多层感知机的情况，如图所示：

 

 

        通过对比可以发现，上面三种没有激励函数的神经网络的输出都是线性方程，其都是在用复杂的线性组合来试图逼近曲线。

1.3.2 带激活函数的神经网络
　　让我们在神经网络每一层神经元做完线性变换以后，加上一个非线性激励函数对线性变换的结果进行转换，结果显而易见，输出立马变成一个不折不扣的非线性函数了，如图所示： 

 

 

        拓展到多层神经网络的情况, 和刚刚一样的结构, 加上非线性激励函数之后, 输出就变成了一个复杂的非线性函数了，如图所示： 

 

 

        总结：加入非线性激励函数后，神经网络就有可能学习到平滑的曲线来分割平面，而不是用复杂的线性组合逼近平滑曲线来分割平面，使神经网络的表示能力更强了，能够更好的拟合目标函数。 这就是为什么我们要有非线性的激活函数的原因。如下图所示说明加入非线性激活函数后的差异，上图为用线性组合逼近平滑曲线来分割平面，下图为平滑的曲线来分割平面：

 

ps: 转载了部分内容。

2 神经网络梯度消失与梯度爆炸
————————————————
版权声明：本文为CSDN博主「意念回复」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_39910711/article/details/114849349