深入理解 ReLU 激活函数及其在深度学习中的应用【激活函数、Sigmoid、Tanh】

ReLU（Rectified Linear Unit）激活函数

ReLU（Rectified Linear Unit）激活函数是一种广泛应用于神经网络中的非线性激活函数。其公式如下：

$$\text{ReLU}(x)=\max (0,x)$$

在图中，你可以看到 ReLU 函数的特点：

1. 当 $x<0$ 时，$\text{ReLU}(x)=0$: 这意味着所有负输入值都被映射为 0，这也是 ReLU 无法处理负值的原因。虽然它能够处理负值，但输出总是 0。
2. 当 $x\ge 0$ 时，$\text{ReLU}(x)=x$: 这意味着正输入值保持不变，正半部分是线性的。

ReLU 激活函数的性质

1. 简单易计算：ReLU 激活函数的计算非常简单，只需要比较输入值和零的大小，然后取较大值。这使得它在计算上非常高效。

2. 非线性：尽管 ReLU 看起来像是线性的（因为正半部分是线性的），但它引入了非线性因素。这种非线性有助于神经网络学习复杂的模式。

3. 稀疏激活：由于 ReLU 函数会将负值变为零，因此它能够使得网络中的一部分神经元输出为零。这种稀疏激活可以提高模型的训练效率和泛化能力。

4. 梯度消失问题：相较于 sigmoid 和 tanh 激活函数，ReLU 缓解了梯度消失问题。sigmoid 和 tanh 在输入值极大或极小时，梯度会变得非常小，导致训练速度缓慢甚至停滞。而 ReLU 在正值区间梯度始终为1，因此在训练深络时，梯度更容易传递。

性质一：简单易计算

ReLU 激活函数的计算非常简单，只需要比较输入值和零的大小，然后取较大值。这使得它在计算上非常高效：

$$\text{ReLU}(x)=\max (0,x)$$

这种简单的计算方式使得 ReLU 在前向传播和反向传播过程中都非常快速，极大地提升了训练速度。与其他需要复杂数学运算的激活函数相比，ReLU 的实现更加高效，特别适合大型神经网络的训练。

性质二：非线性

ReLU 激活函数的公式为：
$$\text{ReLU}(x)=\max (0,x)$$

ReLU 看起来像是线性的，因为在正半部分（即 $x\ge 0$ 时），输出等于输入，表现为线性关系。然而，ReLU 实际上引入了非线性因素：

• 在负半部分（即 $x$