Deep Learning 读书笔记（五）：ImageNet Classification with Deep Convolutional Neural Networks

最新推荐文章于 2022-10-18 11:30:57 发布

tuqinag

最新推荐文章于 2022-10-18 11:30:57 发布

阅读量8.3k

点赞数 3

文章标签： deep learning 深度学习读书笔记

本文链接：https://blog.csdn.net/tuqinag/article/details/40077333

版权

本文是深度学习读书笔记的一部分，探讨了在ImageNet LSVRC-2010竞赛中取得突破的深度卷积神经网络。模型包含5个卷积层、3个全连接层和1000个类别的softmax输出，总计60,000,000个参数。为了加速训练和避免过拟合，采用了ReLU激活函数、多GPU训练、局部响应正则化、有重叠的池化等技巧。此外，还介绍了数据增强、dropout方法等防止过拟合的策略。" 126996543,8651756,SQL规范化：第一范式、第二范式、第三范式的理解与案例,"['SQL', '数据分析', '数据库理论']

摘要由CSDN通过智能技术生成

捡起好久没有写的博客，就在刚才我本科的同学还跟我说她期中考试会用到我写的东西，真的感觉很欣慰，写的东西能对其他人起到或大或小的帮助，一定会坚持下去的。最近的心情真的是很糟，为了转移下注意力，就加快点博客的更新速度吧。

之后的几篇博客会讨论下CNN在具体问题中的应用，同样会涉及到一些tricks。

这篇文章的内容是描述作者在ImageNet LSVRC-2010这个竞赛中，所达到the-state-of-art的工作。记得原来有在微博中看到过，现在世界上做图像最顶尖的那一批人都投身在ImageNet中。而且所给的数据又是非常的庞大，就拿本篇文章所使用的数据集来说，任务是需要将1,200,000高维的图片分为1000个不同的类，可见要取得好的成绩难度还是非常大的。

言归正传，先大体的介绍下文章模型的结构，让大家认识到这个模型是有多么庞大。整个模型共有60,000,000个参数，650,000个神经元，共有5个卷积层，其中有一些卷积层之后是最大池化层（这个告诉我们并不一定卷积层之后就一定是池化层），还有三个全连接层，最后是一个有1000个输出的softmax层。之后会给出模型结构的图示。模型的参数这么多，训练数据的量又这么大，我们必然需要找到一些方法来加快模型的训练速度以及避免过拟合问题的出现。之后会一一介绍所使用的措施。

首先是在加快模型训练速度方面所使用的一些方法（接下来介绍的顺序是根据作者认为重要性的由大到小来排序的）：

（1）ReLU Nonlinearity

这里，每一个神经元所使用的激活函数不再是或是，而是f(x)=max(0,x).将之前的两个函数称之为saturating nonlinearities函数，而将之后的函数称为non-saturating nonlinearities函数。在梯度下降的过程中，使用saturating nonlinearities函数的训练速度要慢于使用non-saturating nonlinearities函数。作者还做了一个实验来证明这一点：