四个大模型轻量级微调训练框架：兼看PPT转Markdown工具

四个大模型轻量级微调训练框架：兼看PPT转Markdown工具

原创 刘焕勇 老刘说NLP 2024年07月28日 12:04 北京

今天来看两个问题：

一个是当前的四个微调训练框架，可以看看各自的特点。

一个是文档智能工具-PPT转Markdown工具的一些实现逻辑，实现都很简单。

供大家一起参考并思考，持续学习，做原理性的思考。

问题1：当前的四个微调训练框架

1、Firefly

地址：https://github.com/yangjianxin1/Firefly

其给出了训练数据的情况：

• 支持预训练、指令微调、DPO，支持全量参数训练、LoRA、QLoRA高效训练。通过配置文件的方式训练不同的模型，小白亦可快速上手训练模型。

• 支持使用Unsloth加速训练，并且节省显存。

• 支持绝大部分主流的开源大模型，如Llama3、Gemma、MiniCPM、Llama、InternLM、Baichuan、ChatGLM、Yi、Deepseek、Qwen、Orion、Ziya、Xverse、Mistral、Mixtral-8x7B、Zephyr、Vicuna、Bloom，训练时与各个官方的chat模型的template对齐。

• 整理并开源指令微调数据集：firefly-train-1.1M 、moss-003-sft-data、ultrachat、 WizardLM_evol_instruct_V2_143k、school_math_0.25M。

• 开源Firefly系列指令微调模型权重 。

• 在Open LLM Leaderboard上验证了QLoRA训练流程的有效性。

2、LLaMA-Factory

地址：https://github.com/hiyouga/LLaMA-Fa