自 ChatGPT 发布以来,大模型的强大让人们看见了通用人工智能的曙光,各个科技大厂也纷纷开源自家的大语言模型。然而,大模型也意味着高昂的硬件成本,让不少平民玩家望而却步。
为了让大模型走入千家万户,赋能百业,上海人工智能实验室开发了低成本大模型训练工具箱 XTuner,旨在让大模型训练不再有门槛。通过 XTuner,最低只需 8GB 显存,就可以打造专属于你的 AI 助手。
https://github.com/InternLM/xtunergithub.com/InternLM/xtuner
X 种选择
XTuner 提供了丰富的功能,上图中的各项功能都可以随意组合搭配。
除单点功能外,XTuner 还有以下三个黑科技,让开发者可以做到真正的“面向数据”工作。
高效的数据引擎
XTuner 适配了多个热门开源数据集格式,开发者如已有对应格式的数据集,可以直接使用,并支持多种格式数据源的混合使用:
- Alpaca 格式,斯坦福