alexnet 论文引用_AlexNet论文笔记

论文地址:ImageNet Classification with Deep Convolutional Neural Networks​papers.nips.cc

笔者读论文的学习笔记,本人水平有限,如有错误,请指出。

码字不易,如果您觉得写得不错,请点个赞,谢谢。

1、设备:两块GTX 580 3GB GPUs(并行,可互相读写)(作者经过实验发现:在单GPU上训练AlexNet近似一半的网络结构速度比双GPU训练整个网络慢)

2、数据集:ILSVRC-2010和ILSVRC-2012(ImageNet的子集,AlexNet是ILSVRC-2012冠军所用的模型),模型的指标有TOP-1 和TOP-5 error;数据预处理:由于图片不是所有尺寸都一样,先rescale到短边256,然后裁剪出中间一块256 x 256,之后对所有图片减均值(这里用的应该是下图中的image mean),除此之外没有预处理操作了不同的均值度量

3、开创性地使用了不饱和非线性单元:ReLU(Rectified Linear Units),训练速度提升很多(注意这里还提到了

equation?tex=f%28x%29%3D%7Ctanh%28x%29%7C 这个函数,但不能提升训练速度,只能防止过拟合)

4、作者采用了Local Response Normalization,LRN,局部响应归一化ÿ

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值