SWIFT:让大模型微调变得简单高效

在人工智能快速发展的今天,大语言模型(LLM)已成为各行各业数字化转型的重要推动力。然而,如何快速有效地对这些庞大的模型进行定制化训练,一直是困扰许多企业和开发者的难题。近日,ModelScope团队推出的SWIFT(Scalable lightWeight Infrastructure for Fine-Tuning)框架,为这一难题提供了优雅的解决方案。

全面覆盖的模型支持

SWIFT最引人注目的特点之一,是其对大语言模型的广泛支持。据ModelScope团队介绍,SWIFT目前支持300多种LLM和50多种多模态大模型(MLLM)的训练、推理、评测和部署。这些模型涵盖了目前业界主流的开源大模型,如Qwen、ChatGLM、Llama、InternLM等系列。

值得一提的是,SWIFT不仅支持各种规模的基础模型,还支持针对特定任务优化的模型变体。例如,它支持代码生成模型如CodeGeeX,支持数学问题求解模型如DeepSeek-Math,还支持长文本处理模型如Xverse-256K等。这种全面的模型支持,使得开发者可以根据实际需求选择最适合的模型进行微调。

丰富的训练方法

在训练方法上,SWIFT提供了多种选择,以适应不同的硬件条件和训练需求。最基本的全参数微调(Full-parameter Fine-tuning)适用于拥有充足计算资源的场景。对于计算资源有限的情况,SWIFT实现了包括LoRA、QLoRA、AdaLoRA等在内的多种参数高效微调(PEFT)方法。

此外,SWIFT还支持一些新颖的训练技术,如NEFTune(Noisy Embeddings Improve Instruction F