如何将模型和数据放入GPU？需要注意什么？

首先需要确定机器上是否有cuda，采用如下语句：

device = torch.device("cuda" if torch.cuda.is_available() and not args.no_cuda else "cpu")

接着需要实例化模型，并将state_dict载入到模型中。第一行先创建模型，第二行在load state_dict的时候使用map_location='cpu'将参数统一先load到cpu中，最后使用.to方法将模型放到gpu中。

需要注意的是，针对模型的.to方法是inplace的，不需要写成model = model.to(device)。

这里有一个坑，就是如果state_dict在gpu中，将其整个load进model后，没有使用.to()将模型放到gpu，此时整个模型是在cpu中，而不是gpu中的，这个需要注意。

model = CPTForConditionalGeneration.from_pretrained(args.model_name_or_path)
model.load_state_dict(torch.load(args.state_dict, map_location='cpu'))
model.to(device)

从dataloader中读取一个batch的数据后，同样使用to方法将数据放到gpu。需要注意的是，针对tensor的.to方法不是inplace的，因此如果只是写成input_ids.to(args.device)，数据并不会被放到gpu中。

input_ids = input_ids.to(device)