AlexNet是将LeNet的进一步发展,AlexNet使用的新技术特点:
1.使用ReLU作为CNN(Convolutional Neural Network)的激活函数;并与Sigmoid激活函数实现的效果进行比较,并解决了梯度弥散的问题。
在目前ReLU函数是最为常用的激活函数,softplus可最为ReLU函数的平滑版本。
relu定义为发F(x)=max(x,0);softplus定义为F(x)=log(1+exp(x))。
由图可知:在relu<0时硬饱和。因为x>0时导数为1,所以,relu能够在x>0时保持梯度不衰减,从而缓解梯度消失的问题,还可以更快地收敛,由于部分输入在硬饱和区域,导致对应的权重不可更新;
sigmoid函数ÿ