激活函数Sigmoid

激活函数 Sigmoid

Sigmoid函数输入一个实值的数，然后将其压缩到0~1的范围内。sigmoid函数能够很好的表达“激活”的意思，未激活就是0，完全饱和的激活则是1。

函数公式：

求导公式：

函数图像：

优点

Logistics Regressionke可以选择Sigmoid函数。LR模型是一个二分类模型，即对于一个X，预测其发生或不发生。但事实上，对于一个事件发生的情况，往往不能得到100%的预测，因此LR可以得到一个事件发生的可能性，超过50%则认为事件发生，低于50%则认为事件不发生。

缺点：

1.Sigmoid函数 涉及指数运算，计算量比较大。
2. Sigmoid函数在趋向于正无穷或负无穷时，趋向于饱，出现梯度消失。
3. Sigmoid函数收敛缓慢。
4. 当使用的数据集全是正的时候，对W求导的结果就全是正的，这样在反向传播的过程中w要么都往正方向更新，要么都往负方向更新，导致有一种捆绑的效果，使得收敛缓慢；要想解决这个问题，就使用均值为0的数据。