本文详细介绍了神经网络中的激活函数，包括Sigmoid、Tanh、ReLU及其变种Leaky ReLU、PReLU、ELU和Softplus，以及新型的Swish函数。激活函数在神经元中起到关键作用，通过非线性变换提升网络表示能力。设计原则包括连续可导、简单高效以及防止梯度消失。不同的激活函数各有优缺点，选择时应考虑其对网络训练效率和收敛速度的影响。
一． 激活函数
激活函数激活函数在神经元中非常重要的。为了增强网络的表示能力和学习能力，
1.激活函数需要具备以下几点性质：
(1)连续并可导（允许少数点上不可导）的非线性函数。可导的激活函数可以直接利用数值优化的方法来学习网络参数。
(2)激活函数及其导函数要尽可能的简单，有利于提高网络计算效率。
(3)激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太小，否则会影响训练的效率和稳定性。
2.作用：把线性函数的值域从实数区间“挤压”到了(0, 1)之间，可以用来表示概率。（可以看做是一个变换域的映射关系，某些书籍中也称为“整流线性单元”），其基础的表示为
3.特点：导数较大，梯度一致，二阶导几乎处处为0，一阶导处处为1
4.目标：解决非线性问题
5.类型：
5.1 Sigmoid（Logistic）
优点：输出映射在（0,1）内，单调连续，求导容易
缺点：输入落在非（-5,5）的区域内，求导接近于0，会导致梯度消失
性质： 1）其输出直接可以看作是概率分布，使
最低0.47元/天 解锁文章
4185
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
