Lora模型训练过程报错如下:
修改配置文件train.ps1中(修改AdamW8bit->Lion)
# 优化器设置
$optimizer_type = "Lion" # Optimizer type | 优化器类型 默认为 AdamW8bit,可选:AdamW AdamW8bit Lion SGDNesterov SGDNesterov8bit DAdaptation AdaFactor
原因是英伟达10系显卡不支持unit8类型
Lora模型训练过程报错如下:
修改配置文件train.ps1中(修改AdamW8bit->Lion)
# 优化器设置
$optimizer_type = "Lion" # Optimizer type | 优化器类型 默认为 AdamW8bit,可选:AdamW AdamW8bit Lion SGDNesterov SGDNesterov8bit DAdaptation AdaFactor
原因是英伟达10系显卡不支持unit8类型