深度网络激活函数汇总

转载https://blog.csdn.net/GrayOnDream/article/details/102955297

一、简介

   一个节点的激活函数(Activation Function)定义了该节点在给定的输入或输入的集合下的输出。神经网络中的激活函数用来提升网络的非线性（只有非线性的激活函数才允许网络计算非平凡问题），以增强网络的表征能力。对激活函数的一般要求是：必须非常数、有界、单调递增并且连续，并且可导。
  在实际选择激活函数时并不会严格要求可导，只需要激活函数几乎在所有点可导即可，即在个别点不可导是可以接受的。另外，其导数尽可能的大可以帮助加速训练神经网络，否则导数过小会导致网络无法继续训练下去。