CPU&GPU

1. 常用函数

   #设置设备
   device=torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')
   
   #判断是否有cuda可用
   if_cuda=torch.cuda.is_available()
   
   #统计gpu个数
   gpu_count=torch.cuda.device_count()
   
   #将模型设置为多个gpu并行模式
   model=torch.nn.DataParallel(net)
   optim=optim.SGD(model.module.parameters()
   
   #将数据放到GPU
   data=data.to(device)
   
   #将模型放到GPU
   model.to(device)
   
   # 清空cache缓存，该方法在cuda超内存时十分有用
   torch.cuda.empty_cache()
   

2. 注意事项

   1. 模型to gpu时不需要赋值，而data to gpu时需要使用‘=’赋值
   2. 当数据位于gpu时，必须先data.cpu()才能转换成numpy,即data.cpu().numpy()
   3. model被DataParallel包装后，model.module才是原来的model
   4. model被DataParallel包装之后，其参数的device自动设置为cuda