激活函数在神经网络中引入非线性因素，解决复杂问题。常见激活函数包括Sigmoid、Tanh、ReLU及其变体，如LReLU、PReLU和RReLU。Sigmoid和Tanh有梯度消失问题，ReLU解决了此问题但可能造成神经元死亡，LReLU等变体则尝试缓解这一问题。ELU在保持收敛速度的同时，对输入变化更鲁棒。
激活函数的作用
在神经网络中，激活函数的作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。
先举一个简单的例子，在做二分类时，我们的预测值 y ^ = w T x + b \widehat{y}=w^{T}x+b y
=wTx+b，其中w和b为参数，我们希望得到一个范围是（0,1）的概率值，而如果直接使用上式进行计算会导致预测值大于1或小于0，因此我们就需要套接一个激活函数，例如sigmoid函数，其值为（0,1）范围。
再比如下面这个问题中：
如上图所示，这是一个简单的线性分类问题，只需要一条直线就可以很好地分类。当我们碰到下图问题时，无法通过一条直线将样本分类出来，需要我们加入非线性因素才可以将样本分类好，而我们的激活函数就是我们要加入的非线性因素。
激活函数的软饱和、硬饱和、左饱和、右饱和
假设h（x）是一个激活函数。
1.当我们的n趋近于正无穷，激活函数的导数趋近于0，那么我们称之为右饱和。
lim n → + ∞ h ′ ( x ) = 0 \lim _{n\rightarrow +\infty }h'\left( x\right) =0 limn→+∞h′(x)=0
2.当我们的n趋近于负无穷，激活函数的导数趋近于0，那么我们称之为左饱和。
lim n → − ∞ h ′ ( x ) = 0 \lim _{n\rightarrow -\infty }h'\left( x\right) =0 limn→−∞h′(
最低0.47元/天 解锁文章
478
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
