【bug解决】Lora微调chatglm6b出现step10后loss持续为0

现象：

lora微调过程中出现loss持续为0

 

解决方案：

步骤1，设置fp16=True，后出现报错ValueError: Attempting to unscale FP16 gradients.

步骤2，将peft版本降为0.3.0后，报错消失，loss正常