点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
添加微信号：CVer2233，小助手会拉你进群！
扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！
梦晨 发自 凹非寺
量子位 | 公众号 QbitAI
论如何在技术圈争论中一句话噎到对方：
哥们，是我创造了第一个大语言模型。
发言者Jeremy Howard为澳大利亚昆士兰大学名誉教授、曾任Kaggle创始总裁和首席科学家，现answer.ai与fast.ai创始人，。
事情的起因是有人质疑他最近的项目llms.txt在帮助大模型爬取互联网信息上并没太大作用，从而引发了这段争论，迅速引起众人围观。
闻讯而来的“赛博考古学家们”一番考据之后，发现第一个大语言模型这个说法还真有理有据：
2018年初，Jeremy Howard发表的论文ULMFiT，使用非监督预训练-微调范式达到当时NLP领域的SOTA。
甚至GPT-1的一作Alec Radford，在发表GPT-1时也公开承认过ULMFiT是灵感来源之一。
有人搬出综述论文，指出从“遗传学”视角看，ULMFiT是所有现代大模型“最后的共同祖先”。
还有好事者软件工程师Jonathon Belotti，专门写了一篇完整考据《谁才是第一个大语言模型》
大语言模型起源考据
首先来介绍一下ULMFiT这篇论文，入选ACL 2018：
提出有效迁移学习方法，可应用于NLP领域的任何任务，并介绍了微调语言模型的关键技术，在六个文本分类任务上的表现明显优于当时的SOTA方法，在大多数数据集上将错误率降低了18-24%。此外，仅使用100个带标签的示例，它的性能就与在100倍以上数据上从头开始训练的模型性能相当。
那么ULMFit算不算第一个大语言模型呢？Jonathon Belotti考据遵循这样的思路：
首先找一个大家都公认肯定算大语言模型的成果，GPT-1肯定符合这个标准。
再从GPT-1和后续GPT-2、GPT-3中提取一个模型成为成为大语言模型的标准：
首先要是一个语言模型，根据输入预测人类书面语言的组成部分，不一定是单词，而是token
核心方法是自监督训练，数据集是未标记的文本，与此前特定于任务的数据集有很大不同
模型的行为是预测下一个token
能适应新的任务：不需要架构修改，就有few-shot甚至one-shot能力
通用性：可以先进的性能执行各种文本任务，包括分类、问答、解析等
接下来分析GPT-1引用的几个重要模型：原版Transformer，CoVe，ELMo和ULMFiT。
Transformer虽然是现代主流大模型的架构基础，但原版只用于机器翻译任务，还不够通用。同时非Transformer架构如LSTM、Mamba甚至Diffusion也可被视作大型语言模型。
CoVE提出了语境化词向量，是迁移学习领域的一项重要创新，但它通过监督学习训练（英语翻译德语）创建向量，不符合自监督学习的条件。
ELMo使用了自监督预训练和监督微调范式，但在few-shot能力上还差点意思。
总之在作者Jonathon Belotti看来，CoVE和ELMo都还没达到大语言模型的门槛。
最后再来看ULMFiT，其名字代表在文本分类任务微调的通用语言模型（Universal Language Model Fine-tuning for Text Classification）。
它是一个在WikiText数据上自监督训练的LSTM模型，能够以低成本适应新任务，无需更改架构即可执行大量文本分类任务，且达到当时的SOTA性能。
与GPT-1相比，只差在微调不够方便，以及应用任务的广度。
GPT-1论文原文中，也指出“最接近我们工作的”就是ULMFiT与谷歌的半监督序列学习（Semi-supervised Sequence Learning）了。
GPT-1论文还声称，把LSTM换成Transformer后能拓展预训练模型的预测能力，比ULMFit任务适应性更高。
考据者Jonathon Belotti最后总结到：
成为第一重要么？我认为有一点重要。软件行业和学术界尊重其创始人，我们都是开源社区中构建开拓智域文化（homesteads the noosphere）的一部分。
而Jeremy Howard本人对此的后续回应是我们创造了第一个“通用语言模型”，但后续论文没有沿用，反而创造了“大型语言模型”这个新术语。
苹果工程师Nathan Lawrence认为，虽然今天大家对谁是第一个LLM可能存在争议，但最终大家都会把ULMFiT视为一个转折点。
当时即使我这样的怀疑论者，也快开始意识到大规模通用训练将成为NLP的未来。
也有人建议Jeremy Howard以后说ULMFit是第一个“通用预训练模型”。
“我发明了ChatGPT中的GP”，这句话说起来也很酷，一点也不夸张。
ULMFit
https://arxiv.org/abs/1801.06146
GPT-1
https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
参考链接：
[1]https://x.com/jeremyphoward/status/1905763446840607164
[2]https://thundergolfer.com/blog/the-first-llm
何恺明在MIT授课的课件PPT下载
在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！
CVPR 2025 论文和代码下载
在CVer公众号后台回复：CVPR2025，即可下载CVPR 2025论文和代码开源的论文合集ECCV 2024 论文和代码下载
在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集
CV垂直方向和论文投稿交流群成立
扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。 一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者论文投稿+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer2233，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！
▲扫码加入星球学习
▲扫码或加微信号: CVer2233，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！
▲扫码加入星球学习▲点击上方卡片，关注CVer公众号 整理不易，请点赞和在看
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
