错误：DeepSpeed Zero-3 is not compatible with `low_cpu_mem_usage=True` or with passing a `device_map`

最新推荐文章于 2024-09-26 22:07:43 发布

Chrsitina_S

最新推荐文章于 2024-09-26 22:07:43 发布

阅读量2.5k

点赞数 9

文章标签：人工智能自然语言处理

本文链接：https://blog.csdn.net/Chrsitina_S/article/details/134921892

版权

文章讨论了在官方fintune.py文件中，如何在GPU不足时通过删除`device_map`参数以启用DeepSpeedZero-3的CPU辅助功能，以及如何配置模型加载和量化设置。

摘要由CSDN通过智能技术生成

无论是多机还是单机训练
将官方的fintune.py文件中的模型导入模块的参数device_map注释掉即可正常运行

因为DeepSpeed Zero-3的核心功能就是GPU不足的情况下，CPU来凑

# Load model and tokenizer
    model = transformers.AutoModelForCausalLM.from_pretrained(
        model_args.model_name_or_path,
        config=config,
        cache_dir=training_args.cache_dir,
        # device_map=device_map, 直接将其注释掉可以直接运行
        trust_remote_code=True,
        quantization_config=GPTQConfig(
            bits=4, disable_exllama=True
        )
        if training_args.use_lora and lora_args.q_lora
        else None,
    )