RuntimeError: "addmm_impl_cpu_" not implemented for 'Half'
解决运行大语言模型ChatGLM出现的:RuntimeError: “addmm_impl_cpu_” not implemented for ‘Half’
在finetune_demo/README中提到关于half的内容
因此,在finetune_demo中找到相关代码:
import torch
from torch import nn
# 开头加入需要的包
def _prepare_model_for_training(model: nn.Module, use_cpu: bool):
for param in model.parameters():
if param.requires_grad or use_cpu:
param.data = param.data.to(torch.float32)
在xx.py(你选择运行的文件)中添加该函数。
_prepare_model_for_training(model, True) # 调用
将函数调用添加到 main函数里,即可正常运行。
但,回答速度较慢,提高速度的方法有待进一步探索。