饱和非线性（saturating nonlinearities）和非饱和非线性（non-saturating nonlinearities）的区别(转载)

其实我是在：

＜Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift＞看到这两个词语的

转载内容如下：

 

在论文《 ImageNet Classification with Deep Convolutional Neural Networks》中描述激活函数时，用了饱和非线性函数和非饱和非线性函数的区别。这里在这里描述其差别。

1. 直观理解
   饱和激活函数会压缩输入值。
2. 定义
   
3. 举例
   对于Rectified Linear Unit (ReLU)激活函数f(x) = max(0, x)，当x趋于正无穷则f(x)也趋于正无穷。所以该函数是非饱和的。
   
   sigmoid函数的范围是[0, 1]所以是饱和的。
   
   tanh函数也是饱和的，因为其取值范围为[-1,1]。
   

本文是下面链接的翻译：英文原文