激活函数(Activation functions)
使用一个神经网络时,需要决定使用哪种激活函数用隐藏层上,哪种用在输出节点上。
到目前为止,之前的笔记中只用过sigmoid激活函数,但是,有时其他的激活函数效果会更好。
Sigmoid和Tanh函数
在神经网路的前向传播中, a[1]=σ(z([1])和a[2]=σ(z1)这两步会使用到sigmoid函数。sigmoid函数在这里被称为激活函数。
公式1: a=σ(z)=1/[1+e^(-z) ]
更通常的情况下,使用不同的函数g(z2),g可以是除了sigmoid函数意外的非线性函数。tanh函数或者双曲正切函数是总体上都优于sigmoid函数的激活函数。