读论文:AlexNet

AlexNet

本文是根据李沐老师读论文来做的一个小总结，粗读，只是搬运工做的小笔记，仅供参考。
文章原文:
链接：https://pan.baidu.com/s/1RVRdbV8RxCgLJMgdne41EA
提取码：0419

这篇文章是一个里程碑，大家开始继续关注有监督学习
一直到最近几年bert和gan的出现，才开始有拉回到无监督学习

- 论文不足
- 1、认为用很大的模型，通过正则来避免过拟合。(现在来说，recognition不是那么重要，关键的还是神经网络的设计)
- 2、Introduction介绍时候，论文时候不能只涉及自己这个多好，要提到其他的方向，稍微公平一点的介绍。
- 3、没有突出亮点，由于局限性，比如end-to-end的网络再原文中只是简单提了一句。
- 4、相当于是技术报告，只介绍了自己做了什么，都没有比较。（但是由于他做的足够好也是成为了奠基作）
- 5、使用三个全连接，将dropout都放到全连接层来避免过拟合，有多个4096的全连接，是它的瓶颈。

- 论文学习点:
读论文时候一些工程性的东西第二遍可以不细读，主要读方法方面的。
- 1、在介绍的时候要突出自己这个创新点在哪里，比如说有一些unusual features，new techniques，而不是拿多个模型叠起来。能存下来的都不是很工程性的细节。要有技术上的创新，而不是工程上的创新。
- 2、供后人学习的end-to-end网络，不需要任何额外的特征提取，直接输入原始的照片文本，神经网络能算出来。
- 3.通道数的意思就是识别多少种不同的模式，比如192层的out channels理解为图片的192种特征，是根据卷积核的个数来决定的，多少个卷积核就有多少个输出通道。
卷积核 都是随机初始化的，所以对应每个卷积生成的featuremap均不同。如果不是随机初始化，故意设置成一样的，那搞多少个卷积核都没意义了
- 4、如何解决过拟合(过拟合就相当于我们考试只能把答案背下来，那肯定考不好)
PCA处理:将RGB的图片做一些变换，让每次的图片颜色不一样
将dropout都放到全连接层来避免过拟合。
- 5、使用sgd优化算法，其中的噪音对于模型泛化性是有好处的。
- 6、现在训练调参一般使用比较平滑的函数，而不是手动选择依次下降
- 7、发现在两个gpu上，gpu1大多是和颜色相关的信息，gpu2上大多是和颜色无关的信息，作者也很困惑。
- 8、展示结论的时候，把最后深度学习得到的4096向量去对比其他照片，把相似的图片找出来，效果很好(相似的照片真的是在一起的)简单的分离器。

- 网络结构:
- 激活层:ReLU
- 把网络切开，分成了两个gpu进行训练，在第三层和第层卷积层，会把两个gpu的信息共享一下。
- 通过模型压缩，最后输出一个4096的(机器能看懂)向量
- 并没有使用完整的890万的数据进行训练，只是拿出来其中的120万进行训练。