单张a100-80g ,大模型glm3,4,推理 一个1万多token都爆显寸的吗?….一万多的要啥配置啊 有人知道吗?
基于llama factory框架微调训练当然也爆显寸,deepspeed 优化感觉根没优化一样,感觉只是多卡并行训练一批数据,如果数据太长deepspeed到底会自动把数据分成几份加载到别的显卡上吗?另外用zero3优化,用offload配置训练的进度条40小时,不用offload三四个小时… 不理解
单张a100-80g ,大模型glm3,4,推理 一个1万多token都爆显寸的吗?….一万多的要啥配置啊 有人知道吗?
基于llama factory框架微调训练当然也爆显寸,deepspeed 优化感觉根没优化一样,感觉只是多卡并行训练一批数据,如果数据太长deepspeed到底会自动把数据分成几份加载到别的显卡上吗?另外用zero3优化,用offload配置训练的进度条40小时,不用offload三四个小时… 不理解