实训周报1-AlexNet论文全解读

最新推荐文章于 2024-08-18 11:12:27 发布

LiemZuvon

最新推荐文章于 2024-08-18 11:12:27 发布

阅读量4.4k

点赞数 3

分类专栏：机器学习深度学习论文笔记文章标签：周报深度学习 Alex-net 机器学习

本文链接：https://blog.csdn.net/u012767526/article/details/51804900

版权

本文是实训周报1，重点解读AlexNet，它是深度学习领域的一个标志性成果。AlexNet通过5个卷积层和3个全连接层简化了深度网络，对比全连接层，卷积层能大幅减少参数，降低内存需求。ReLU激活函数解决Sigmoid的饱和区问题，Max Pooling减小数据规模并有助于正向传播。此外，论文中还介绍了数据预处理的均值归零、crop采样和Fancy PCA采样等方法，这些方法有助于防止过拟合并增强模型的泛化能力。

摘要由CSDN通过智能技术生成

Week Report 1—AlexNet

Week Report 1AlexNet
- AlexNet的网络结构
- 数据预处理

这一周，我们主要关注深度学习环境的搭配以及两篇重要的论文，分别是“Imagenet Classification with Deep Convolutional Neural Networks” 和 “DISC: Deep Image Saliency Computing via Progressive Representation Learning”。其中第一篇论文是大名鼎鼎的AlexNet产生的论文，因此在这篇周报中，我打算对第一篇论文做个总结。
AlexNet作为第一个出现在ILSVRC挑战赛中的深度卷级神经网络，成功地将人们的视野重新拉回到深度学习上。李飞飞教授曾经说过第一次物种大爆炸是发生在生物视觉的出现之后。我认为，AlexNet就像是一个计算机的视觉时代来临的里程碑，并且伴随着它，还会有更多的不可思议的新事物和新领域产生（这似乎是马后炮？不，这就是）。

AlexNet的网络结构：

AlexNet是一个非常简单的网络，仅由5个卷积层和3个全连接层构成。这里我就不罗嗦的讲每个层的细节了，而是肤浅的讲下自己对这些层的理解。

卷积层：

由于对于自然图像而言，像素之间具有空间的相关性，所以利用卷积核对图像进行卷积计算也是合情合理的，再其次就是卷积层会很省参数。做一个简单的计算，就拿我们的DISC作业作为例子，当时，为了测试，我自己写了一个非常简单的网络，就一个全连接层，把256*256*3的图像转成4096的向量，然后再用欧式距离的los