激活函数的类型以及目的

ReLU（Rectified Linear Unit）：ReLU函数在输入大于0时返回输入值本身，而在输入小于等于0时返回0。它是一种简单且广泛使用的激活函数，能够引入非线性变换并保持计算效率。

Tanh（双曲正切函数）：Tanh函数将输入映射到范围在[-1, 1]之间的输出。它在输入负值时产生负的输出，而在输入正值时产生正的输出。Tanh函数相比于ReLU函数具有更大的输出范围，因此可以更好地处理输入的正负值。

Sigmoid（S型函数）：Sigmoid函数将输入映射到范围在[0, 1]之间的输出。它具有平滑的曲线，可以将输入值限制在一个有界的范围内。Sigmoid函数在一些特定的场景中有时会用于引入非线性变换，但在深度神经网络中的使用相对较少。

Leaky ReLU：Leaky ReLU函数是ReLU函数的变种，在输入小于0时返回一个较小的斜率乘以输入，而在输入大于0时返回输入本身。Leaky ReLU通过引入一个小的负斜率，解决了ReLU函数在输入小于0时可能出现的神经元“死亡”问题。

选择不同激活函数对建模的影响
非线性建模能力：激活函数的主要目的是引入非线性变换，增加模型的非线性建模能力。不同的激活函数具有不同的非线性特性，能够更好地适应不同类型的数据和模式。选择合适的激活函数可以提高模型对非线性关系的建模能力，从而提升性能。

梯度传播和消失梯度问题：在神经网络的训练过程中，梯度的有效传播对于模型的学习和收敛至关重要。一些激活函数（如ReLU）具有良好的梯度特性，可以有效地传播梯度信息，提高训练效率。而另一些激活函数（如Sigmoid）在极端值处梯度接近于0，容易引发梯度消失问题，导致模型难以训练。因此，选择梯度性质良好的激活函数可以改善梯度传播和减少梯度消失问题。

输出范围和稳定性：激活函数的输出范围对于模型的稳定性和收敛性具有影响。一些激活函数（如Tanh、Sigmoid）将输出限制在特定的范围内，可以提供更好的稳定性和控制模型输出的幅度。而一些激活函数（如ReLU、Leaky ReLU）没有上界，可能导致输出值的不受限制，需要在模型设计和优化过程中进行适当的处理。

计算效率：不同的激活函数对计算的复杂度有影响。一些激活函数（如ReLU）具有简单的计算形式，可以提高模型的计算效率。而一些激活函数（如Tanh、Sigmoid）具有较复杂的计算形式，可能增加模型的计算负担。