本文详细介绍了激活函数在神经网络中的作用，包括sigmoid、tanh、ReLU及Leaky ReLU的性质、优缺点，并提供了在深度学习实践中选择激活函数的建议。
常用的激活函数的理解与总结
1.什么是激活函数
所谓的激活函数（Activation Function)，就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。
单一神经元模型如下：
神经网络中，每一个神经元节点接受上一神经元的输出值做为本神经元的输入值，并将输入值传递给下一层。在多层神经网络中，上一层节点的输出和下一层节点的输出之间具有一个函数关系，这个函数称为激活函数（又称为激励函数）
2.激活函数的用途
如果不用激励函数（其实相当于激励函数是f(x)=x)，在这种情况下，每一层节点的输入都是上层输出的线性函数，这样无论神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机了，那么网络的能力就相当有限。所以引入了非线性函数作为激励函数，给神经元提供了非线性的动力，这样深层神经网络表达能力就更加强大。
3.有哪些激活函数，都有什么性质和特点
早期研究神经网络主要采用sigmoid函数或者tanh函数，输出有界，很容易充当下一层的输入。
sigmoid函数
sigmoid是常用的非线性的激活函数，它的数学形式和几何图像如下:
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
