LLM系列(3)：探索大模型RLHF优化之道：DeepSpeed-Chat超快速入门，对齐训练精度提升一步到位

LLM系列(3)：探索大模型RLHF优化之道：DeepSpeed-Chat超快速入门，对齐训练精度提升一步到位

随着 ChatGPT 的惊艳表现，各类大模型产品如雨后春笋丛出不穷。作为有一定算法能力的同学一定会想是否可以自己在有限的物理条件下去定制化自己的大模型。学术界对此也进行了一定的研究，如 Prompt Tuning 的技术等（不调试原始大模型，只调试相关的 Prompt）。最近微软做了一个 Deepspeed 的框架，可以让普通人在极其有限的资源下做高效的大模型调优，且又提供了 DeepSpeed-Chat 这个覆盖了完整三阶段调优的样例，给大模型的低成本调优 / 定制带来了更多可能。笔者对 DeepSpeed-Chat 进行了一定的尝试之后，总结出此文，主要是目的是让新使用 DeepSpeed-Chat 的同学可以更快速的入门，作为基本的技术理解 + 避坑指南。如果已经阅读过 DeepSpeed-Chat 的相关资料到了尝试阶段，可以直接看最后一部分避坑指南。

本文适合的读者：对 ChatGPT 有听说，对 GPT 的功能有了解，对 NLP 的一些基本模型有听说，有 python 和 linux 编程基础。

• 大模型调优意义

现在大家可以找到很多开源大模型【搜索 dolly