真的强，又一个开源项目，杀疯了

最近，AI大模型连续火爆出圈，人工智能生成模型（AIGC）的热度尚未褪去，聊天机器人ChatGPT便引发全网热议，两周吸引百万用户。还有卷趴一半程序员的AlphaCode，生成全新蛋白质的ESM2等，不断探索AI大模型落地的新领域。面对大模型带来的技术革命，连谷歌都拉响“红色警报”，担心ChatGPT砸掉自己搜索引擎的饭碗。

作为当下最火热的开源AI大模型解决方案，Colossal-AI已收获Github Star七千多颗，此前在Stable Diffusion、GPT-3、AlphaFold等大模型上展现卓越性能优势。针对AI大模型落地成本高昂这一痛点，Colossal-AI本次更新聚焦于降低大模型应用成本以及增强易用性，包括:

• Stable Diffusion 2.0低成本训练/微调/推理，最多可降低显存消耗5.6倍，使硬件成本直降46倍，一行代码即可使用;

• 1750亿参数BLOOM模型单机推理，显存消耗降低4倍，使硬件成本降低10余倍;

• 一行代码实现自动搜索最佳并行策略，显著降低分布式训练上手门槛，原生支持Hugging Face，Timm等热门AI模型库。

开源地址：

https://github.com/hpcaitech/ColossalAI

Stable Diffusion 2.0低成本训练/微调/推理

AIGC（人工智能生成内容）目前是AI领域最热门的话题之一，还被Science评为2022年度十大科学突破。短短数月，爆红AI圈的Stable Diffusion已升级到2.0版本，正如部分用户所言：“我从未见过任何技术发展如此之快。V1还没整透彻，V2就来了”。

然而，高昂的成本也一定程度上限制了AIGC产业的大规模普及。以Stable Diffusion为例，其背后的Stability AI维护超过 4000 个英伟达 A100 的 GPU 集群，并已为此支出超过 5000 万美元的运营成本。面对快速迭代的模型、算法和下游任务，如何降低应用成本成为AIGC真正走向落地的核心问题。

Stable Diffusion 2.0基于简单易用的PyTorch Lightning框架搭建。作为PyTorch Lightning的官方大模型解决方案，Colossal-AI在第一时间跟进，开源了更为高效，硬件门槛更低的全套训练/微调/推理方案:

• 可减少训练显存消耗5.6倍，硬件成本最高降低46倍；

• 支持DreamBooth单GPU快速个性化微调；

• 推理显存消耗降低2.5倍。

该方案也将于近期合并进入当下最火热的AI模型社区Hugging Face，进一步方便用户使用。

训练

为了加快训练速度，降低训练成本，使用更大的batch size已成为被广泛使用的有效手段。但GPU有限的显存容量，严重限制了batch size大小，推高了训练硬件门槛。

Colossal-AI通过一系列显存优化技术和支持St