目录
激活函数:将神经元的工作一般化
我们知道,神经网络是一种模仿生物神经网络感知的数学模型或计算模型。
根据下图(来自《深度学习的数学》),我们先简单回忆下神经元和神经网络单元的联系。
点火:只有输入达到了一定阈值,神经元才会作出反应,对其他神经元发出信号。
神经元: 神经网络中每个节点称为神经元,由两部分组成:
- 加权和:将所有输入加权求和。
- 非线性变换(激活函数):加权和的结果经过一个非线性函数变换,让神经元计算具备非线性的能力。
让我们把神经元想象为检测某种特定特征的开关,那么激活函数就决定了什么时候打开这个开关。
激活函数在神经网络中的位置如图所示:
为什么激活函数必须是非线性函数?
如果使用线性函数,每一层输出都是上层输入的线性函数,所以无论神经网络有多少层,输出都是输入的线性组合。
而现实是我们想要我们的神经网络是一个universal function approximators(通用函数的合拢器),这意味着它可以计算任何函数。
所以,采用非线性函数的激活函数给神经元引入了非线性因素,使得神经网络可以任意逼近任何非线性函数,这样神经网络就可以应用于线性和非线性函数中,更贴合现实模型。
常用激活函数
Sigmoid
数学形式:
特点&#x