激活函数（sigmoid、tanh、ReLu）

1️⃣ 激活函数的作用

激活函数为神经网络引入非线性，如果没有激活函数，即使网络层数再多，也只能处理线性可分问题。
在机器学习中，线性可分问题指的是可以通过一条直线（或高维空间的一个超平面）将数据完全分开的问题。现实世界的问题大多数是非线性的，例如自然语言处理中的词汇间的上下文关系，图像识别中复杂的边缘等

---

2️⃣ sigmoid函数

sigmoid函数将输入变换为(0,1)上的输出。它将范围(-inf,inf)中的任意输入压缩到区间(0,1)中，函数表示为：
$$sigmoid(x)=\frac{1}{1+e^{-x}}$$

其梯度可以表示为：
d d x s i g m o i d ( x ) = e − x ( 1 + e − x ) 2 = s i g m o i d (