计算机视觉相关笔记（一）AlexNet

计算机视觉相关笔记（一）AlexNet

1.关于ReLU激活函数

在文章中作者提到了它的收敛很快，但是在现在开来，尤其是加入了调整后的其他激活函数，ReLU并没有比其他的快很多甚至和其他的效果差不多。

2.网络结构

0 -----------------1------------------ 2---------------------3 ------------------ 4--------------5-------------6----------7------8
首先第一层输入部分，224224是图片的像素，再3是图片的三通道（rgb）,11*11是卷积核的大小，第一层卷积的输出通道为48，Stride为4为向上下左右跳4下，这个图中有两个输出是因为作者用了两个GPU来进行训练。
到了第三层特殊一点，作者做了一次在输出通道维度的合并，作者将空间的信息压缩，语义的东西在增加。
到最后第8层输出的时候变成了一个4096的向量，是两个2048的合并起来的。

3.简单理解过拟合

过拟合就相当于你简单的把考试的题背下来了，却不理解里面每步是干嘛的，换了个图你就做不出来了。

4.dropout

现在的许多研究标准dropout可以看做是一个L2的正则项。