激励函数对比分析

机器学习基础（七）——sigmoid 函数的性质
机器学习基础（五十六）—— tanh、sign 与 softsign
深度学习基础（十二）—— ReLU vs PReLU

• sigmoid：单极性，连续，可导；

• tanh：双极性，连续，可导；

  注意 tanh（双曲正切函数）形式不唯一，

  tanh(x)=ex−e−xex+e−x=1−e−2x1+e2xtanh(x)=1−e−s1+e−s

1. 极性

• sigmoid：单极性；单极性信号，就是或只有正信号，或只有负信号。
• tanh：双极性；双极性信号，就是既有正信号，也有负信号。

2. 连续性

• sigmoid、tanh：都是连续的；

3. 可导性

• sigmoid：σ′(x)=σ(x)(1−σ(x))，即 sigmoid 函数的导数可以用其原函数表出；

  且 σ′(x)=σ(x)(1−σ(x)) 的这种导数形式，在于交叉熵代价函数结合时（也即构成复合函数形式），能将梯度化为十分精简的形式：

  C=−(ylna+(1−y)ln(1−a)),a=σ(z)⇓∂C∂z=−(ya−1−y1−a)σ′(z)=−(ya−1−y1−a)⋅a(1−a)=a−y

• tanh：tanh′(x)=1−tanh2(x)，也可由其原函数表出；

4. 输入数据是否需要归一化

• sigmoid 激励函数：需要对输入数据归一化，因为更大的输入值，将使得 sigmoid 函数更容易达到饱和状态，
• ReLU：因为不存在饱和的问题，也就不需要事先对输入数据进行归一化；

转载于:https://www.cnblogs.com/mtcnn/p/9422115.html