300行代码搞定！特斯拉前AI总监发布：NanoGPT，最简单最快的库来了！

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>CV微信技术交流群

詹士 发自 凹非寺
转载自：量子位（QbitAI）

训练/微调中型GPT，最简单最快的库来了！

其名为：NanoGPT。

从名字就能看出是个“纳米武器”，据作者介绍，该库代码简单易读，2个仅300行代码的文件。

现已基于OpenWebText重现 GPT-2 (124M)，在单个8XA100 40GB节点上，训练时间为38小时。

值得一提的是，该库发布者是前特斯拉AI总监，李飞飞高徒，Andrej Karpathy。此次发布的NanoGPT，正是他2年前MinGPT的升级版。

目前，此项目在GitHub所获star已超6k，HackerNews上points也破千。

毫无意外地，评论区一片“喜大普奔”。

有网友表示，这才是咱独立开发者喜闻乐见的AI工具。

还有人对其一直开放传授分享知识的做法，表示感谢。

那么，这个最简单最快的NanoGPT怎么用？

下面展开讲讲。

NanoGPT的打开方式

发布文件里面包含一个约300行的GPT模型定义（文件名：model.py），可以选择从OpenAI加载GPT-2权重。

还有一个训练模型PyTorch样板（文件名：train.py），同样也是300多行。

作者补充道，代码并不难，很容易就能满足大家需求——无论是从头开始训练新模型，还是基于预训练进行微调（目前可用的最大模型为1.3B参数的GPT-2）。

△ 一个训练实例展示

上手前，需要提前准备好依赖项：

• pytorch <3

• numpy <3

• pip install datasets for huggingface datasets <3 (如果你需要下载和预处理OpenWebText)

• pip install tiktoken for OpenAI’s fast BPE code <3

• pip install wandb for optional logging <3

• pip install tqdm

先下载并标记OpenWebText数据集。

$ cd data/openwebtext 
$ python prepare.py

这将创建一个train.bin和val.bin文件，将 GPT2 BPE token id放入一个序列中。

然后准备训练，目前脚本默认是尝试重现GPT-2，124M参数版本，但作者更鼓励大家阅读代码查看文件顶部的设置及路径。

$ python train.py

如需使用 PyTorch 分布式数据并行 (DDP) 进行训练，请使用 torchrun 运行脚本。

比如，要在4个GPU节点上运行，代码如下：

$ torchrun --standalone --nproc_per_node=4 train.py

要从模型节点中采样，就需将一些检查点写入输入目录中。

$ python sample.py

据作者目前自己的测试，他在1 个 A100 40GB GPU 上训练一晚，损失约为 3.74。如果是在4个GPU上训练损失约为3.60。

如果在8个A100 40GB节点上进行约50万次迭代，时长约为1天，atim的训练降至约3.1，init随机概率是10.82，已将结果带到了baseline范围。

观察不同参数下训练/验证loss值如下：

至于如何基于新文本微调GPT，作者也简介了方法。

先访问data/shakespeare，查看prepare.py。

下载小型shakespeare数据集并将其呈现为train.bin和val.bin文件（方法前文已介绍），几秒即可搞定。

运行一个微调示例，如下：

$ python train.py config/finetune_shakespeare.py

该操作将加载配置参数，覆盖config/finetune_shakespeare.py文件。

作者指出，一般情况下，基本操作就是从GPT-2检查点初始化init_from，再正常训练。

此外，如果手里只有macbook或一些“力量”不足的小破本，作者建议使用shakespeare数据集，然后在一个很小的网络上运行。

先渲染数据；

$ cd data/shakespeare 
$ python prepare.py

再用一个较小的网络来运行训练脚本。

比如下面就创建了一个小得多的Transformer（4层，4个head，64嵌入大小），只在CPU运行，在作者自己的苹果AIR M1本上，每次迭代大约需要400毫秒。

$ cd ../.. 
$ python train.py --dataset=shakespeare --n_layer=4 --n_head=4 --n_embd=64 --device=cpu --compile=False --eval_iters=1 --block_size=64 --batch_size=8

关于NanoGPT的后续计划，Andrej Karpathy也在网上有所分享。

他将试图让NanoGPT更快复现其他GPT-2模型，然后将预训练扩展至更大规模的模型/数据集中，此外，他还计划改进下微调部分的文档。

转战教育和开源的特斯拉前AI总监

熟悉Karpathy的圈内人肯定知道，他此前是李飞飞高徒，也长期致力于让更多人接触了解神经网络和相关数据集。

2020年8月，他就曾发布NanoGPT前一代，MinGPT，同样旨在让GPT做到小巧、简洁、可解释，同样主打300行代码搞定。

Karpathy另一大身份是前特斯拉AI核心人物。

在马斯克麾下，他历任特斯拉高级AI主管、特斯拉自动驾驶AutoPilot负责人、特斯拉超算Dojo负责人、特斯拉擎天柱人形机器人负责人…

2022年7月，Karpathy Andrej离职，在业内引发不小讨论。他表示，未来将花更多时间在AI、开源技术教育上，比如他做了一档AI课程，现还在更新中。

此番发布NanoGPT同时，Karpathy还下场安抚了下催更党——新视频正从0开始构建，计划2周内发布。

最后附上：

NanoGPT项目：https://github.com/karpathy/nanoGPT

Andrej Karpathy课程：https://karpathy.ai/zero-to-hero.html

点击进入—>CV微信技术交流群

CVPR/ECCV 2022论文和代码下载

后台回复：CVPR2022，即可下载CVPR 2022论文和代码开源的论文合集

后台回复：ECCV2022，即可下载ECCV 2022论文和代码开源的论文合集

后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

目标检测和Transformer交流群成立
扫描下方二维码，或者添加微信：CVer222，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer222，进交流群
CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！

▲扫码进群
▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看