激活函数的作用

常用激活函数及其导数：

sigmoid

y =  1/ (1 + e^(-x))

y' =  y(1-y)

tanh

y = {e^z - e^(-z)} / {e^z +e^(-z)}

y' = 1- y^2

relu

y = max(0,x)

y' = 1 if x>0 ;y' = 0 if x <0;

leaky relu

y = max(0.01*x,x)

y' = 1 if x>0 ;y' = 0.01 if x <0;

 

如果激活函数是线性激活函数（比如 ：y = kx,k = [0 1 2..]），则结果的预期函数也是线性的，相当于线性拟合。

z1 = w1*x +b

z2 = w2*z1 +b = w2 *(w1*x +b) +b  
    = w2*w1*x +(w2b + b)