激活函数（ReLU、sigmoid、tanh）的简单理解

ReLU函数

ReLU（rectified linear unit）函数提供了⼀个很简单的⾮线性变换。给定元素 ，该函数定义为：

可以看出，ReLU函数只保留正数元素，并将负数元素清零。函数图像如下图：

显然，当输⼊为负数时，ReLU函数的导数为0；当输⼊为正数时，ReLU函数的导数为1。尽管输⼊为0 时ReLU函数不可导，但是我们可以取此处的导数为0。绘制ReLU函数的导数图像：

sigmoid函数

sigmoid函数可以将元素的值变换到0和1之间，函数定义：

sigmoid函数在早期的神经⽹络中较为普遍，但它⽬前逐渐被更简单的ReLU函数取代。sigmoid函数接近线性变换：

对应的导数图像：

tanh函数

tanh（双曲正切）函数可以将元素的值变换到-1和1之间：

对应的函数图像：

当输⼊接近0时，tanh函数接近线性变换。虽然该函数的形状和sigmoid函数的形状很像，但tanh函数在坐标系的原点上对称。
当输⼊为0时，tanh函数的导数达到最⼤值1；当输⼊越偏离0时，tanh
函数的导数越接近0。对应的图像：