pytorch--cpu与gpu load时相互转化

将gpu改为cpu时,遇到一个报错:RuntimeError: Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is False. If you are running on a CPU-only machine, please use torch.load with map_location='cpu' to map your storages to the CPU.此时改为:

torch.load("0.9472_0048.weights",map_location='cpu')

假设我们只保存了模型的参数(model.state_dict())到文件名为modelparameters.pth, model = Net()

1. cpu -> cpu或者gpu -> gpu:

checkpoint = torch.load('modelparameters.pth')

model.load_state_dict(checkpoint)

2. cpu -> gpu 1

torch.load('modelparameters.pth', map_location=lambda storage, loc: storage.cuda(1))

3. gpu 1 -> gpu 0

torch.load('modelparameters.pth', map_location={'cuda:1':'cuda:0'})

4. gpu -> cpu

torch.load('modelparameters.pth', map_location=lambda storage, loc: storage)

转载于:https://www.cnblogs.com/llfctt/p/10986401.html

PyTorch-Mutex的CPUGPU版本之间的区别在于它们使用的锁的类型不同。CPU版本使用Python标准库中的threading.Lock来实现互斥锁,而GPU版本使用PyTorch中的torch.cuda.Lock来实现互斥锁。 因此,如果您的PyTorch模型是在CPU上训练的,则应该使用CPU版本的PyTorch-Mutex;如果您的PyTorch模型是在GPU上训练的,则应该使用GPU版本的PyTorch-Mutex。 以下是使用CPU版本的PyTorch-Mutex的示例代码: ``` from torch_mutex import Mutex mutex = Mutex() for epoch in range(num_epochs): for batch in data_loader: # 加锁 mutex.acquire() # 计算模型输出 output = model(batch) loss = loss_fn(output, target) # 更新模型参数 optimizer.zero_grad() loss.backward() optimizer.step() # 解锁 mutex.release() ``` 以下是使用GPU版本的PyTorch-Mutex的示例代码: ``` import torch from torch_mutex import Mutex mutex = Mutex() for epoch in range(num_epochs): for batch in data_loader: # 加锁 mutex.acquire() # 将输入和目标数据移动到GPU上 input = batch[0].cuda() target = batch[1].cuda() # 计算模型输出 output = model(input) loss = loss_fn(output, target) # 更新模型参数 optimizer.zero_grad() loss.backward() optimizer.step() # 解锁 mutex.release() ``` 在上面的代码中,我们在使用GPU版本的PyTorch-Mutex,首先需要将输入和目标数据移动到GPU上。然后,在访问共享资源之前,我们调用mutex.acquire()方法来获取互斥锁。最后,在访问共享资源之后,我们调用mutex.release()方法来释放互斥锁。这样,我们就可以避免多个GPU核心同访问共享资源,从而确保训练过程的正确性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值