神经网络中常用的激活函数

Python人工智能常用的激活函数有：

• Sigmoid函数：它的公式是σ=1+e−x1​，它的导数是σ′=σ(1−σ)。它的输出范围是(0, 1)，可以模拟概率值。它将任何输入映射到0和1之间的值，因此对于二元分类问题和逻辑回归模型非常有用。在TensorFlow中，可以使用tf.keras.activations.sigmoid来调用它。1
• Tanh函数（双曲正切）：它的公式是tanh(x)=ex+e−xex−e−x​，它的导数是tanh′(x)=1−tanh2(x)。它的输出范围是(-1, 1)，可以使数据分布更均匀。它类似于Sigmoid函数，但具有更强的梯度。它常用于隐藏层的激活函数。在TensorFlow中，可以使用tf.keras.activations.tanh来调用它。2
• ReLU函数（整流线性单元）：它的公式是ReLU(x)=max(0,x)，它的导数是ReLU′(x)=1 if x>0 else 0。它的输出范围是(0, ∞)，对于负输入，它返回0；对于非负输入，它返回输入本身。它在深度学习模型中被广泛使用，因为它有助于缓解梯度消失问题，并且计算速度快。它常用于卷积神经网络和深度神经网络。在TensorFlow中，可以使用tf.keras.activations.relu来调用它。2
• Softmax函数：它将一组实数映射到一组概率，这些概率的总和为1。它通常用于多类分类问题。
• Leaky ReLU函数：与ReLU函数类似，但对于负输入，它返回一个非零斜率。
• ELU函数（指数线性单元）：与Leaky ReLU函数类似，但对于负输入，它返回一个指数衰减。
• Swish函数：