饱和非线性和非饱和非线性

ImageNet Classification with Deep Convolutional Neural Networks第三节解释了他们使用的卷积神经网络架构。

饱和非线性

饱和的激活函数会将输出结果缩放到有限的区间：
sigmoid激活函数的范围是[0, 1]，所以它是饱和的

tanh激活函数的范围是[-1,1]，所以它是饱和的。

非饱和非线性

非饱和的激活函数会将输出结果缩放到无穷区间

对于ReLU激活函数f(x) = max(0, x)，当x趋于正无穷则f(x)也趋于正无穷。所以该函数是非饱和的。