实训周报1-AlexNet论文全解读

Week Report 1—AlexNet

这一周，我们主要关注深度学习环境的搭配以及两篇重要的论文，分别是“Imagenet Classification with Deep Convolutional Neural Networks” 和 “DISC: Deep Image Saliency Computing via Progressive Representation Learning”。其中第一篇论文是大名鼎鼎的AlexNet产生的论文，因此在这篇周报中，我打算对第一篇论文做个总结。
AlexNet作为第一个出现在ILSVRC挑战赛中的深度卷级神经网络，成功地将人们的视野重新拉回到深度学习上。李飞飞教授曾经说过第一次物种大爆炸是发生在生物视觉的出现之后。我认为，AlexNet就像是一个计算机的视觉时代来临的里程碑，并且伴随着它，还会有更多的不可思议的新事物和新领域产生（这似乎是马后炮？不，这就是）。

AlexNet的网络结构：

AlexNet是一个非常简单的网络，仅由5个卷积层和3个全连接层构成。这里我就不罗嗦的讲每个层的细节了，而是肤浅的讲下自己对这些层的理解。

卷积层：

由于对于自然图像而言，像素之间具有空间的相关性，所以利用卷积核对图像进行卷积计算也是合情合理的，再其次就是卷积层会很省参数。做一个简单的计算，就拿我们的DISC作业作为例子，当时，为了测试，我自己写了一个非常简单的网络，就一个全连接层，把256*256*3的图像转成4096的向量，然后再用欧式距离的los