吴恩达深度学习笔记(18)-神经网络激活函数讲解

激活函数（Activation functions）

使用一个神经网络时，需要决定使用哪种激活函数用隐藏层上，哪种用在输出节点上。

到目前为止，之前的笔记中只用过sigmoid激活函数，但是，有时其他的激活函数效果会更好。

Sigmoid和Tanh函数

在神经网路的前向传播中， a^{[1]=σ(z([1])和a}[2]=σ(z¹)这两步会使用到sigmoid函数。sigmoid函数在这里被称为激活函数。

公式1： a=σ(z)=1/[1+e^(-z) ]

更通常的情况下，使用不同的函数g(z²)，g可以是除了sigmoid函数意外的非线性函数。tanh函数或者双曲正切函数是总体上都优于sigmoid函数的激活函数。

如图，a=tan(z)的值域是位于+1和-1之间。</