3. 常见的激活函数的优点，为什么？

1 以下是常见激活函数的特点以及相应的数学公式解释：

        神经网络为什么需要激活函数：首先数据的分布绝大多数是非线性的，而一般神经网络的计算是线性的，引入激活函数，是在神经网络中引入非线性，强化网络的学习能力。所以激活函数的最大特点就是非线性。

         不同的激活函数，根据其特点，应用也不同。 Sigmoid和tanh的特点是将输出限制在(0,1)和(-1,1)之间，说明Sigmoid和tanh适合做概率值的处理，例如LSTM中的各种门；而ReLU就不行，因为ReLU无最大值限制，可能会出现很大值。 同样，根据ReLU的特征，Relu适合用于深层网络的训练，而Sigmoid和tanh则不行，因为它们会出现梯度消失。

2 Sigmoid 激活函数：

• 特点：Sigmoid函数将输入映射到0到1之间的值，用于二元分类问题。具有平滑的S形曲线。