深度学习笔记: Sigmoid激活函数

欢迎Star我的Machine Learning Blog:https://github.com/purepisces/Wenqing-Machine_Learning_Blog。

概述：

Sigmoid激活函数是人工神经网络中广泛使用的非线性激活函数之一。它有效地将输入值映射到0和1之间的范围，使其特别适用于输出需要被解释为概率的模型。

数学表达式：

Sigmoid函数的数学定义为：

其中是自然对数的底数，代表函数的输入，通常是神经元输入的加权和。

函数特性：

• 范围：Sigmoid函数的输出界限在0和1之间，包含两端。
• 形状：它有一个S形曲线（sigmoid曲线）。
• 输出解释：接近1的值表示高度激活，而接近0的值表示低激活。这可以直观地理解为神经元被激活的概率。

在神经网络中的应用：

在神经网络的背景下，Sigmoid函数被应用于层内的每个神经元。特别是对于一个全连接层，该函数被应用于每个神经元的输入加权和，产生神经元的激活水平。这个激活的输出然后传递给网络中的下一层。

使用Sigmoid函数允许清晰地解释神经元激活水平：

• 接近1：表示更高的激活。
• 接近0：表示较低的激活。

因此，Sigmoid函数作为一种引入非线性到网络中的机制，使其能够学习复杂的模式并作出超出简单线性边界的决策。

示例：

考虑一个隐藏层中的神经元，它从输入层的两个神经元接收输入值0.5和0.8。如果这些输入的权重分别为0.4和0.6，且神经元的偏置为0.1，则预激活输出将被计算为：