“激活函数”,又称“非线性映射函数”,是深度卷积神经网络中不可或缺的关键模块。可以说,深度网络模型其强大的表示能力便是由激活函数的非线性带来的。本文将介绍七种当下深度卷积神经网络中常用的激活函数:Sigmoid型函数、tanh型函数、ReLU、LeakyReLU、参数化ReLU、随机化ReLU和指数化线性单元ElU。
直观上,激活函数模拟了生物神经元特性,接受一组输入信号并产生输出,并通过一个阈值模拟神经元的激活和兴奋状态。
由于本文涉及到较多的公式,为了方便,我将截图展示。
Sigmoid型函数
tanh(x)型函数
修正线性单元(ReLU)
Leaky ReLU
参数化ReLU
随机化ReLU
指数化线性单元
小结
1.激活函数(非线性映射函数)为深度网络模型引入非线性而产生强大表示能力功不可没;
2.Sigmoid型函数是历史上最早的激活函数之一,但是它与tanh(x)型函数一样会产生梯度饱和效应,因此在实践中不建议使用;
3.建议首先使用的目前最常用的ReLU激活函数,但需注意模型参数初始化和学习率的设置;
4.为进一步提高模型精度,可尝试使用LeakyReLU、参数化ReLU、随机化ReLU和ELU。但是在这之间实际性能优劣并无一致性结论,需具体问题具体讨论。
注:文章选自《解析深度学习—卷积神经网络原理与视觉实践》魏秀参著