点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
添加微信号：CVer2233，小助手会拉你进群！
扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！
转载自：机器之心
从一行行代码、注释中感受 AlexNet 的诞生，或许老代码中还藏着启发未来的「新」知识。
想知道 AlexNet 2012 年的原始代码长什么样吗？现在，机会来了！刚刚，谷歌首席科学家 Jeff Dean 宣布，他们与计算机历史博物馆（CHM）合作，共同发布了 AlexNet 的源代码，并将长期保存这些代码。
开放后的代码库如下：
GitHub 链接：https://github.com/computerhistory/AlexNet-Source-Code
AlexNet 是一个人工神经网络，用于识别照片内容。它由当时的多伦多大学研究生 Alex Krizhevsky 和 Ilya Sutskever 以及他们的导师 Geoffrey Hinton 于 2012 年开发。
在计算机历史上，AlexNet 的出现有着划时代的意义。在它出现之前，很少有机器学习研究人员使用神经网络。但在 AlexNet 出现之后，几乎所有研究人员都会使用神经网络。从 2012 年到 2022 年，神经网络不断取得进步，包括合成可信的人类声音、击败围棋冠军选手、模拟人类语言并生成艺术作品…… 最终，OpenAI 于 2022 年发布 ChatGPT…… 它是这一系列故事的重要起点。
「谷歌很高兴将具有开创性意义的 AlexNet 项目的源代码贡献给计算机历史博物馆，」Jeff Dean 说，「这段代码是 Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton 撰写的标志性论文《ImageNet Classification with Deep Convolutional Neural Networks》的基础，该论文革新了计算机视觉领域，是有史以来被引用次数最多的论文之一。」
Google Scholar 数据显示，AlexNet 相关论文被引量已经超过 17 万。
除了代码本身的价值，HuggingFace 联合创始人 Thomas Wolf 还发现，代码中的注释也非常有启发性。他说，「也许真正的历史记录是 AlexNet 代码中每个实验配置文件末尾的实验记录注释。一个开创性的神经网络正在诞生……」
还有人说，「AlexNet 代码的发布对于 AI 爱好者来说是一个宝库，这是一个向深度学习先驱学习的绝佳机会」。
AlexNet，人工智能历史的转折点
在人工智能领域，AlexNet 可谓爆发的起点。就在本周的英伟达 GTC 大会上，黄仁勋介绍起 AI 的发展历程，未来的一头是智能体、物理世界的 AI，过去的一头就是 AlexNet。
AI、机器学习、深度学习的概念可以追溯到几十年前，然而它们在过去的十几年里才真正流行起来，这可能的确要归功于 AlexNet。
在 2012 年，来自多伦多大学的 Alex Krizhevsky、Ilya Sutskever、Geoffrey Hinton 等人提出了一个名为「AlexNet」的深度神经网络，赢得了 2012 年大规模视觉识别挑战赛 ImageNet 的冠军。
三位都是 AI 领域里响当当的人物。Geoffrey Hinton 被誉为「深度学习之父」，后来获得了 2018 年的图灵奖、2024 年的诺贝尔物理学奖；Ilya Sutskever 是 OpenAI 的联合创始人及前首席科学家，也是 AlphaGo 论文的众多作者之一。冠名该模型的 Alex Krizhevsky 也是 CIFAR-10 和 CIFAR-100 数据集的创建者，不过他却逐渐对研究失去了兴趣，于 2017 年 9 月离开了谷歌。
在描述当年的 AlexNet 项目时，Geoffrey Hinton 总结道：「Ilya 认为我们应该做这件事，Alex 让它成功了，而我获得了诺贝尔奖。」
当年用于训练 AlexNet 的家用计算机和 GPU。
在 ImageNet 竞赛中，参赛者需要完成一个名叫「object region」的任务，即给定一张包含某目标的图像和一串目标类别（如飞机、瓶子、猫），每个团队的实现都需要识别出图像中的目标属于哪个类。
在当年的比赛中，AlexNet 的表现颇具颠覆性，团队首次使用一种名为卷积神经网络（CNN）的深度学习架构，并充分利用了英伟达 GPU 的能力。由于表现过于惊艳，之后几年的 ImageNet 挑战赛冠军都沿用了 CNN。
AlexNet 的论文被 2012 年的 NeurIPS 大会接收并发表，起初也受到了一些计算机视觉研究者的质疑，但出席会议的 Yann LeCun 宣布这是人工智能发展的转折点。后来发生的事情我们也都知道了：在 AlexNet 之前，几乎没有一篇领先的计算机视觉论文使用神经网络。在它之后，几乎所有论文都会使用神经网络。
这是计算机视觉史上的一个关键时刻，也激发了人们将深度学习应用于其他领域（如自然语言处理、机器人、推荐系统）的兴趣。
开放源代码，历时五年
AlexNet 源代码顺利发布的故事，还要从五年前说起。
2020 年，CHM 软件历史中心馆长 Hansen Hsu 联系了 Alex Krizhevsky，希望获得发布授权。不过，Alex Krizhevsky 并没有直接回应，而是将 Hansen Hsu 介绍给了当时还在谷歌工作的 Hinton。因为，在谷歌收购了 Hinton、Sutskever 和 Krizhevsky 创办的公司 DNNresearch 之后，AlexNet 的知识产权就归了谷歌。
之后，Hinton 在 CHM 和谷歌的团队之间斡旋，推动整件事的进程。双方花了五年的时间，协商发布事宜，以及具体的发布版本。
事实上，自 2012 年论文发布后，AlexNet 的源码已经有了多个版本，GitHub 上也有不少名为「AlexNet」的代码库，但其中许多并不是原始代码，而是根据那篇论文重新创建的。此前，Krizhevsky 开发的 AlexNet 前身 ——cuda-convnet 也曾作为开源代码发布，但它是在较小的 CIFAR-10 数据集上训练的。
CHM 发布的代码库包含了 2012 年赢得 ImageNet 竞赛时的原始 AlexNet 源代码，还包括在 ImageNet 数据集上训练的参数文件。
感兴趣的同学可以前去翻看。
参考链接：
https://computerhistory.org/blog/chm-releases-alexnet-source-code/
何恺明在MIT授课的课件PPT下载
在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！
CVPR 2025 论文和代码下载
在CVer公众号后台回复：CVPR2025，即可下载CVPR 2025论文和代码开源的论文合集ECCV 2024 论文和代码下载
在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集CV垂直方向和论文投稿交流群成立
扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。 一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者论文投稿+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer2233，进交流群 CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！ ▲扫码加入星球学习▲点击上方卡片，关注CVer公众号 整理不易，请点赞和在看
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
