报错处理 - RuntimeError: Expected out tensor to have dtype c10::BFloat16, but got float instead

跟着这篇文章微调 llama
https://colab.research.google.com/drive/135ced7oHytdxu3N2DNe1Z0kqjyYIkDXp

---

出现报错

RuntimeError: Expected out tensor to have dtype c10::BFloat16, but got float instead

网友说是 数据类型的问题，我设置为 bf16 了

在 training_args 中，将 fp16 改为 True, bf16 改为 False

问题并没有解决，可能还出现 换了个类型的报错

RuntimeError: Expected out tensor to have dtype c10::Half, but got float instead

---

另一个网友说，dtype = None 可以自动判断类型，便修改

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = model_id, # 模型路径
    max_seq_length = 2048, # 可以设置为任何值内部做了自适应处理
    # dtype = torch.float16, # 数据类型使用float16
    dtype = None, # 数据类型使用float16
    load_in_4bit = True, # 使用4bit量化来减少内存使用
)

---

就没有再报类似错误了

感谢网友，也希望帮助到其他网友

---

伊织 2024-07-15（一）