激活函数的比较
【1】sigmoid函数和tanh函数:tanh函数可以看为sigmoid函数平移后的结果。一般来说,tan函数的效果要比sigoid函数的效果好,因为tanh函数输出介于-1—1之间, 激活函数的平均值就更接近于0 ,起到类似于数据中心化的结果,让下一层的学习更方便。
【2】在二元分类问题上, 可以使用sigma函数作为输出层
【3】sigmoid函数和tanh函数都有一个缺点:如果z非常大或非常小,这个函数的斜率会非常小,会拖慢梯度下降算法
【4】修正线性单元ReLU函数:
【5】所以,默认选择是:如果你的输出是0和1,那么sigmoid函数很适合作为输出层的激活函数,然后其他所有的单元都使用ReLU作为激活函数。