relu激活函数对比sigmoid的优势

1. 为什么要激活函数

原理上来说，神经网络模型的训练过程其实就是拟合一个数据分布（x）可以映射到输出（y）的数学函数，即 y= f(x)。拟合效果的好坏取决于数据质量及模型的结构，像逻辑回归、感知机等线性模型的拟合能力是有限的¹，连xor函数都拟合不了，那神经网络模型结构中提升拟合能力的关键是什么呢？
** 变化的非线性**

激活函数相较于跃迁函数，其平滑性不同,激活函数是一条平滑的曲线。输出随着输入发生连续性变化。其平滑性的特性对神经网络的学习有重要的意义


由于Sigmoid函数的输出不是零中心的（Zero-centered），该函数的导数为：sigmoid *