常见的非线性映射

1.sigmoid

函数 

实现代码:

def sigmoid(x):
    return (1 / (1 + np.exp(-x)))

图像:

2.tanh(双曲正切)

函数 

实现 numpy自带np.tanh(),自己写和sigmoid类似套公式就行了

图像:

3.Relu 修正线性单元

卷积神经网络 激励层用的比较多

函数:f(x) = x (x > 0)  f(x) = 0  (x <= 0)

图像:

变化后的leaky ReLU