在做autoawq量化的时候遇到:
这里是指有部分数据在GPU上,有部分数据在CPU上,设备不统一,无法进行计算,修改脚本添加device_map参数即可
model = AutoAWQForCausalLM.from_pretrained(
model_path, **{"low_cpu_mem_usage": True, "use_cache": False},device_map="auto"
)
在做autoawq量化的时候遇到:
这里是指有部分数据在GPU上,有部分数据在CPU上,设备不统一,无法进行计算,修改脚本添加device_map参数即可
model = AutoAWQForCausalLM.from_pretrained(
model_path, **{"low_cpu_mem_usage": True, "use_cache": False},device_map="auto"
)