本文讲述了在单机双4090 GPU环境下，利用Deepspeed训练和推理百川13B聊天模型所遇到的问题。通过参数并行和offload策略解决了显存不足的问题，但在训练过程中发现Lora增量预训练的模型需要特殊恢复权重才能使用。在推理阶段，由于模型过大，需要删除非Lora层参数以降低内存需求。此外，文中提到在继续训练时要处理数据重复训练的问题，确保每条数据只训练一次。
前言
资源
单机两4090，如图
单卡24G，baichuan-13b-chat单卡推理需要至少26G，因此仅用一张卡，我们是无法加载百川13B的模型，所以，无论是推理还是训练，我们都必须并行！
deepspeed
核心思想：GPU显存不够，CPU内存来凑
虽然我们两张卡加起来有48G，按理说显存是足够的，实则不是。
就两张卡而言，分别为GPU0和GPU1，两块GPU上分别有一半模型参数，即6.5B，占用13G，在使用deepspeed的参数并行进行前向传播时，GPU0需要把自己身上的参数传给GPU1临时保存起来，参与前向传播，这时，GPU1身上的参数即为整个模型的参数，即13B，占用26G，超出了单卡显存上限，因此，当只有两块卡时，不使用offload策略的前提下，单卡的显存必须大于 模型大小 * 2，即13B的模型，双卡并行时，必须保证单卡显存大于26G。在使用三卡并行时，单卡显存大小理论上应大于：2 * 13 * 2 / 3 = 17.3G。
第一个2表示：每块GPU上都需要保存一份自己独有的参数和其他卡发送过来的临时参数，共2份
第二个2表示：参数的数据类型是f
订阅专栏 解锁全文
扫一扫
302
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
