【深度学习理论】(3) 激活函数

各位同学好，最近学习了CS231N斯坦福计算机视觉公开课，讲的太精彩了，和大家分享一下。

激活函数的作用是把神经元的输入线性求和后，放入非线性的激活函数中激活，正因为有非线性的激活函数，神经网络才能拟合非线性的决策边界，解决非线性的分类和回归问题

---

1. Sigmoid 函数

作用：将负无穷到正无穷的输入，映射到0到1之间。

公式：

若x=0，函数值=0.5,；若x很大时，函数值非常接近1；若x很小时，函数值非常接近0

特点：

（1）将负无穷到正无穷的任何输入，都挤压成0到1之间的一个数，又称为挤压函数

（2）可解释性好，可类比神经细胞是否激活。函数输出的是0到1之间的值，相当于一个二分类问题，0是一个类别，1是另一个类别

缺陷：

（1）