开源大模型微调工具 XTuner

支持几乎所有 GPU 上对 LLM 预训练或微调，可在 8GB GPU 上微调 7B , Llama3、Mixtral-8x7B、Qwen 等模型, LMDeploy、OpenCompass 集成

支持完整从微调，到部署，评测的一整套工具链

https://github.com/InternLM/xtuner

1. 高效：支持在几乎所有GPU上对LLM、VLM进行预训练/微调。可在单个8GB GPU上微调7B LLM，也可在多节点上微调超过70B的模型。自动分配高性能操作符，如FlashAttention和Triton内核，以提高训练吞吐量。兼容DeepSpeed，轻松利用各种ZeRO优化技术
2. 灵活：支持各种LLM（InternLM、Mixtral-8x7B、Llama 2、ChatGLM、Qwen、Baichuan等）。支持VLM（LLaVA），特别是LLaVA-InternLM2-20B的性能出色。设计良好的数据管道，适应任何格式的数据集，包括开源和自定义格式。支持各种训练算法（QLoRA、LoRA、全参数微调），让用户选择最适合其需求的解决方案
3. 功能齐全：支持连续预训练、指导微调和代理微调。支持与部署和服务器工具包（LMDeploy）以及大规模评估工具包（OpenCompass、VLMEvalKit）的无缝集成。