【机器学习与深度学习理论要点】20. 什么是激活函数，为什么要用激活函数，常见的激活函数和特点，softmax函数

1）什么是激活函数，为什么要用激活函数？

激活函数，指神经网络中将输入信号的总和转换为输出信号的函数，激活函数将多层感知机输出转换为非线性，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

2）神经网络中常用的激活函数有哪些，各自有什么特点？

（1）sigmoid

①定义：sigmoid函数用于影藏层神经元输出，能将数值映射到(0,1)区间，可用来做二分类，表达式为：
$$f(x)=\frac{1}{1+e^{-x}}$$
②特点：

• 优点：平滑、易于求导
• 缺点：激活函数计算量大，反向传播时，很容易出现梯度消

（2）tanh

①定义：双曲正切函数，表达式为：
$$f(x)=\frac{1-e^{-2x}}{1+e^{-2x}}$$
②特点：

• 优点：平滑，易于求导，输出均值为0，收敛速度比sigmoid快，减少迭代次数
• 缺点：很容易出现梯度消失

（3）relu

①定义：修正线性单元，其表达式为：
$$f(x)=\{\begin{array}{ll}x& (x>0)\\ 0& (x<=0)\end{array}$$
②特点：

• 优点：计算过程简单，避免了梯度消失和梯度爆炸问题
• 缺点：小于等于0时无输出

3）什么是softmax函数，主要作用是什么

• 定义：softmax函数可以将多分类的输出值转化为相对概率，而这些值的累加和为1，表达式为

$$S_i=\frac{e^{V_i}}{{\sum }_i^C{e}^{V_i}}$$

其中$V_i$ 是分类器前级输出单元的输出。i 表示类别索引，总的类别个 数为 C。$S_i$表示的是当前元素的指数与所有元素指数和的比值。

• 作用：softmax一般用于分类输出层，计算属于每个类别的概率