首先需要确定机器上是否有cuda,采用如下语句:
device = torch.device("cuda" if torch.cuda.is_available() and not args.no_cuda else "cpu")
接着需要实例化模型,并将state_dict载入到模型中。第一行先创建模型,第二行在load state_dict的时候使用map_location='cpu'将参数统一先load到cpu中,最后使用.to方法将模型放到gpu中。
需要注意的是,针对模型的.to方法是inplace的,不需要写成model = model.to(device)。
这里有一个坑,就是如果state_dict在gpu中,将其整个load进model后,没有使用.to()将模型放到gpu,此时整个模型是在cpu中,而不是gpu中的,这个需要注意。
model = CPTForConditionalGeneration.from_pretrained(args.model_name_or_path)
model.load_state_dict(torch.load(args.state_dict, map_location='cpu'))
model.to(device)
从dataloader中读取一个batch的数据后,同样使用to方法将数据放到gpu。需要注意的是,针对tensor的.to方法不是inplace的,因此如果只是写成input_ids.to(args.device),数据并不会被放到gpu中。
input_ids = input_ids.to(device)