AlexNet论文小笔记

lenet5 :ttps://www.cs.ryerson.ca/~aharley/vis/conv/

前言:
自己第一次前面第一次看论文，有点懵。所以去看了看了b站沐神的视频和自豪兄的视频。做点笔记，总结的不是很多。
自豪兄
沐神

Relu激活函数

传统的sigmoid和tanh都是饱和激活函数，在x过小或过大时，局限在一定的范围内，造成梯度没有变化。
而使用Relu则没有梯度消失问题，在AlexNet中比tanh(x)快了六倍，但在沐神的讲解里，说现在大家都在用并不是它快多少，而是因为纯粹因为它简单。

模型实现与双GPU

因为2012的GPU不能支持这么大的计算，所以采用了模型并行，分给两个GPU进行计算。现在的算力一般够了，所以一般不用双GPU

在论文中还有一个特别的点是第一个CPU提取出的更多是边缘特征，
而第二个CPU提取出的则是颜色特征

局部相应归一化(Local Response Normalization)

把当前的神经元和周围的神经元进行归一化，作用就想你玩游戏有小代一样，提升了游戏的整体水平，而你占的百分比就会下降。
但是这个在几乎没有人用到它，因为也有比它更好的正则

Overlaping pooling

就是让池化层的窗口长成重叠，文中认为这样可以防止过拟合。但是现在已经不在采取这样的操作了。

数据增强

就是把一张图片，进行裁剪，反转，各种变换，就像在一个知识点上换着法子出题

Drop out

为了减少过拟合，也提出了Drop out，在沐神的深度学习里面前面也有讲解，这里看了一遍也得到了新的理解。加入你有多个全连接，在其中多个层使用了Dropout，打破了神经元的联合依赖性。

沐神也说现在都把dropout理解为正则化，一般在全连接层会用。

我在这里也有个疑问，这样不会增加很多计算量吗？埋一个坑先