Colossal-AI发布了650亿参数的大模型预训练方案，基于PyTorch并优化了训练速度，只需32张A100/A800GPU。此方案开源且不限制商业使用，提供了易于使用的四步流程。相较于其他项目，Colossal-AI支持高效的多维度并行训练策略，如Gemini，适用于LLaMA和其他主流模型，降低了大模型训练的门槛。
650亿参数大模型的预训练方案，发布即开源。
训练速度较传统方案提升38%。
这就是由Colossal-AI最新发布的类LLaMA基础大模型预训练方案。
要知道，在“百模大战”背景下，谁拥有自家大模型，往往被视为核心竞争力。
在这个节点下，愿意开源大模型的公司少之又少。
但自己从头训练一个大模型，对技术、资金都有很高要求。
由此，Colossal-AI最新的开源动作，可以说是应时势所需了。
并且它还不限制商业使用，开箱即用仅需4步。
具体项目有哪些内容？一起往下看~
开源地址：GitHub - hpcaitech/ColossalAI: Making large AI models cheaper, faster and more accessible
32张A100/A800即可使用
实际上，自从Meta开源LLaMA后，掀起了一波微调项目热潮，如Alpaca、Vicuna、ColossalChat等都是在其基础上打造的。
但是LLaMA只开源了模型权重且限制商业使用，微调能够提升和注入的知识与能力也相对有限。
对于真正想要投身大模型浪潮的企业来说，训练自己的核心大模型非常重要。
开源社区也此前已献了一系列工作：
-
RedPajama：开源可商用类LLaMA数据集（无训练代码和模型）
最低0.47元/天 解锁文章
扫一扫
139
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
