激活函数详情

激活函数的作用

激活函数的主要作用可以归结为以下几点

- 引入非线性
    
    这是激活函数最核心的作用。现实世界中的数据和问题往往是非线性的，例如图像识别、语音识别等。
    
    通过引入激活函数，使得神经网络能够学习和逼近这些复杂的非线性映射关系。
    
- 增加网络的表达能力
    
    没有激活函数，多层神经网络的堆叠将没有任何意义，因为多层线性变换的组合仍然是线性变换。激活函数打破了这种线性叠加，使得网络能够学习更复杂的特征组合，从而显著提升网络的表达能力。
    
- 控制输出范围
    
    通过不同的激活函数，可以将输出映射到不同区间，比如  或 
    
- 梯度传播
    
    激活函数及其导数在反向传播过程中扮演着关键角色，它们决定了梯度如何从网络的输出层反向传播到输入层，从而更新网络的权重。

激活函数的数学形式

假设一个神经元接收输入向量 ，对应权重向量为 ，还有一个偏置项 b

该神经元的线性组合结果是

激活函数  就是对这个线性组合  进行非线性变换

神经元的最终输出为