超参数（Hyperparameters）| 下

戳上方蓝字【阿力阿哩哩的炼丹日常】关注我~

前面我们介绍了:

一文掌握CNN卷积神经网络

超参数（Hyperparameters）|  上

04

4.4.4 常见的激励函数

在谈及常见的激励函数前，我们得先知道激励函数是干什么用的。如图 4.3所示，神经元的输出值会经历一个f函数，我们将这个函数叫做激励函数（activation function）。加入激励函数的目的也非常纯粹，就是为了让神经网络模型能够逼近非线性函数。倘若我们去掉激励函数，神经元就只有线性函数y=wx+b，这样的神经网络就只能逼近线性函数了。假如在不加激励函数的前提下，我们要训练一个分类模型，倘若数据是非线性可分的，那么模型的准确率会相当低，因为我们的模型训练不出一个非线性函数去拟合我们的数据。图 4.26就是数据线性不可分与线性可分的对比图。

图 4.26 线性可分与线性不可分

1. Sigmoid与tanh激励函数

如图 4.27所示，sigmoid函数可以将神经元的输出值压缩到（0, 1）之间，是早期常用的激励函数之一。但是随着算力的提升，人们开始搭建多层神网络模型，sigmoid的缺点也就暴露出来了。我们知道每一个神经元的输出值是经过激励函数之后，传递给下一个神经元的，也就是说，层与层之间的神经元是连乘的关系，倘若我们在多层神经网络层使用sigmoid函数，它将每一层的神经元输出值压缩至（0, 1），那么连乘的结果就会越来越小，直至为0，也就是我们常说的梯度消失。

与之有类似缺点的激励函数还有tanh函数,如图 4.28所示，因此现在经常将sigmoid和tanh用在层数较少的神经网络模型中，或者放在回归模型输出层中用作回归的激励函数，亦或者放在分类模型输出层中用作计算概率的激励函数。