常用激活函数

       神经网络，作为一种数学模型，旨在模拟人脑神经元的网络结构，它由多个层构建而成，其中包括输入层、隐藏层以及输出层。神经网络是由神经元（或节点）和连接这些神经元的权重构成的模型，输入通过权重进行加权和汇总，然后通过激活函数产生输出。

 

       神经网络的一般结构如上图所示，组成部分包括输入层、隐藏层、输出层、权重和偏置以及激活函数。输入层接收外部输入数据，每个输入节点对应输入数据的一个特征，例如，对于图像分类任务，每个输入节点可以代表图像的像素值。隐藏层是在输入层和输出层之间的一层或多层，每个隐藏层包含多个神经元，每个神经元与前一层的所有神经元相连，隐藏层通过学习权重和偏置来捕捉输入数据中的复杂模式和特征。输出层产生模型的最终输出，对于分类任务，每个输出节点可能代表一个类别，并且输出值表示模型对该类别的置信度，对于回归任务，输出节点的数量通常等于要预测的变量数量。权重是连接两个神经元之间的强度，它们通过训练过程中不断调整，以使神经网络适应训练数据。偏置是每个神经元的偏移量，也是通过训练进行调整的参数。在每个神经元中，激活函数决定神经元是否应该被激活（输出非零值）。

       神经元接收多个输入, 每个输入对应的权重为，神经元将这些输入与相应的权重相乘，然后将所有乘积相加，将加权求和的结果经过一个激活函数，计算如下：

       其中，a可以被传输至下一层的神经元，作为它们输入的一部分，同时也可以作为整个网络的最终输出，用以表达模型的预测结果或决策。是激活函数，b是神经元的偏置。

       激活函数是非线性函数，使得神经网络可以学习更为复杂的映射关系，例如复杂的非线性关系，并在训练过程中通过调整权重和偏置来适应特定的任务。常见的激活函数如下表所示，其中包括其公式和函数图像。

 再补充两个：