深度学习 激活函数(ReLU函数、sigmoid函数、tanh函数)

ReLu函数：

        ReLu(rectified linear unit)函数提供的是一个简单的非线性变化。函数定义如下：

        ReLu函数图像：

        ReLu函数的导数：

sigmoid函数：

        sigmoid函数可以将数值变化到0到1的区间内。函数定义如下：

         sigmoid函数图像：

        sigmoid函数的导数：

tanh函数：

        ​​​​​​​tanh(双曲正切)函数可以将数值变化到-1到1的区间内。函数定义如下：

        tanh函数图像：

        tanh函数的导数：