AlexNet卷积神经网络学习参考论文《ImageNet Classification with Deep Convolutional Neural NetWorks》

AlexNet是将LeNet的进一步发展,AlexNet使用的新技术特点:

1.使用ReLU作为CNN(Convolutional Neural Network)的激活函数;并与Sigmoid激活函数实现的效果进行比较,并解决了梯度弥散的问题。

在目前ReLU函数是最为常用的激活函数,softplus可最为ReLU函数的平滑版本。

relu定义为发F(x)=max(x,0);softplus定义为F(x)=log(1+exp(x))。

                                         

由图可知:在relu<0时硬饱和。因为x>0时导数为1,所以,relu能够在x>0时保持梯度不衰减,从而缓解梯度消失的问题,还可以更快地收敛,由于部分输入在硬饱和区域,导致对应的权重不可更新;

sigmoid函数ÿ

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值