深度学习入门11-激活函数II

图片来源：搜狐

在上一篇文章中，我们了解了感知机用到的阶跃函数的具体实现，本期我们将学习sigmoid函数的实现和新的激活函数ReLU。

1 sigmoid函数的实现

我们先复习一下sigmoid函数的表达式：

sigmoid函数是神经网络中经常使用的一个激活函数，我们只需要将这个表达式用Python表示出来就可以了：

def sigmoid_function(x):
    return 1 / (1 + np.exp(-x))

这里np.exp(-x)对应公式中的exp(-x)，支持单独数字输入，也支持NumPy数组。我们输入一个NumPy数组：

之所以上述代码支持NumPy数组，关键就在于NumPy的广播功能。可以点击下面链接进行复习

NumPy的广播
如果在标量和NumPy数组之间进行运算，标量会和NumPy数组的各个元素进行运算，具体可以看一下下面的例子：

在这个例子中，标量和NumPy数组之间进行了+和*运算，通过计算结果我们可以看到，标量和NumPy数组中的各个元素进行了运算，运算结果以NumPy数组的形式被输出。所以，sigmoid函数中的1 / (1 + np.exp(-x))计算过程也是如此，从而我们只用一句就可以完成所有元素的运算。

运行下面的代码我们可以看到sigmoid函数的图像：

x = np.arange(-5.0, 5.0, 0.1)  # 定义x变化范围 步长为0.1 生成numpy数组
y = sigmoid_function(x)  # 获得对应的y值
plt.plot(x, y)  # 绘制图像
plt.ylim