之前在使用activation function的时候只是根据自己的经验来用,例如二分类使用sigmoid或者softmax,多分类使用softmax,Dense一般都是Relu,例如tanh几乎没用过,最近在复线别人代码的时候发现别人Dense层使用的tanh激活函数,所以决定系统的看一下各类激活函数以及其优缺点。
激活函数分类线性和非线性,例如Dense层如果不指定激活函数则会默认activation = ‘linear’,常见的非线性激活函数有sigmoid、softmax、relu、tanh等。
一、Sigmoid函数
sigmoid激活函数的优点是它是便于求导的平滑函数,但是缺点有:
1、容易出现梯度消散现象
2、函数的输出并不是zero-centered的
3、幂运算相对耗时
二、tanh函数
tanh函数解决了zero-centered问题,但是梯度消散和幂运算问题依旧存在。
三、ReLu函数
ReLU函数其实就是取最大值,虽然很简单但是有很多优点:
1、解决了梯度消散的问题(在正区间)
2、计算速度快
3、收敛速度快
但是ReLU也有一些问题:
1、ReLU的输出不是zero-cemtered
2、可能会导致某些神经元永远不会被激活,从而导致对应的参数不能被更新。主要有两种可能导致这种现象的情况:(1)非常不幸的参数初始化 (2)学习率太高
但是整体来看目前最好用的还是ReLU!!!