Answer.AI开启家用70亿参数模型训练新篇章

Answer.AI开启家用70亿参数模型训练新篇章

摘要

2024年3月6日，Answer.AI推出首个项目：一套开源系统，首次实现在家用台式机上，仅需两块标准游戏GPU（RTX 3090或4090），高效训练70亿大型语言模型。此系统结合了FSDP和QLoRA技术，由Answer.AI、Tim Dettmers（华盛顿大学）和Hugging Face的Titus von Koeller及Sourab Mangrulkar合作开发。此系统旨在帮助开源社区发布更优秀的模型。

背景

在深度学习模型训练领域，通常使用的有数据中心级硬件（如H100s和A100s），其成本达数十万美元；与之相对的是，装有游戏GPU的桌面计算机（如双4090），成本不足1万美元。数据中心GPU与游戏GPU性能相似，但前者价格昂贵且功耗巨大。Answer.AI旨在寻找利用游戏GPU训练大型语言模型的方法，以降低训练成本，提高可访问性。

QLoRA && FSDP: 大模型训练的新进展

QLoRA是一种将权重量化与低秩适应结合的技术，有效减少模型大小，使得更大的模型能够适应GPU内存限制。另一方面，FSDP（Fully Sharded Data Parallel）技术允许将大型模型分片到多个GPU上并行训练，进一步拓宽训练大型模型的可能区间。

首次尝试的成功

Answer.AI团队通过结合QLoRA与FSDP技术，首次在两块24GB内存的3090 GPU上成功训练了70亿参数的模型，展示了在个人电脑上训练大型模型的可行性。此成就标志着使用家用硬件进行高效模型训练的新时代开端。

未来展望

Answer.AI与开源社区合作，通过进一步的技术优化和共享，致力于降低AI模型训练成本，使AI技术更广泛地被社会各界所使用。我们期待未来有更多创新的方法出现，共同推动AI技术的发展与普及。

使用与测试

为了使广大用户能够体验到该技术，Answer.AI提供了详尽的安装和使用说明。对有兴趣尝试的用户，可以通过我们的开源项目页面获取相关信息进行操作尝试。