简单来说,完整的流程就是模型选型(OpenCompass思南大模型)—数据集(书生·万卷)—参数微调(XTuner)—构建智能体(Lagent和Agentlego)—模型评测(OpenCompass)—模型部署(LMDeploy)。
OpenDataLab数据集获取:OpenDataLab
-
数据集:万卷1.0多模态语料 书生万卷1.0和CC数据集,支持迭代。
-
预训练框架:InternLM-Train支持高可扩展性训练 修改配置文件即可训练。
-
微调框架:XTuner适配不同微调策略和算法 内置LoRA、QLoRA等多种微调算法。
-
部署工具:LMDeploy支持高效部署 内置INT4,INT8等量化实现。
-
评测工具:OpenCompass 全面的评测体系,已经适配了超过100个评测集,是国内最完善的评测体系之一。
-
智能体框架:Lagent 支持多类型的智能体、多种LLM模型。