Python实现阶跃函数、sigmoid函数、ReLU函数

神经网络

神经网络有三层，左边的为输入层，中间的是中间层，右边的为输出层。其中中间层也叫隐藏层，第0层为输入层，第1层为中间层，第2层为输出层。

感知机接收x1和x2两个输入信号输出y，其数学公式为：
$$y=\{\begin{array}{ll}0& \text{b + w1x1 + w2x2 <=0}\\ 1& \text{b + w1x1 + w2x2 >0}\end{array}$$
其中b为偏置，是控制神经元被激活的容易程度，w1与w2为每一个信号的权重，用于控制信号的重要性。

上面的式子还可以简化为一个函数来表示：
y = h(b + w1x1+ w2x2)
$$h(x)=\{\begin{array}{l}0\\ 1\end{array}$$