pytorch基础

1.训练时顺序

    #第一种写法
    
    #梯度置零，也就是把loss关于weight的导数变成0
    optimizer.zero_grad()
    
    #前馈计算输出和损失
    outputs = net(images)
    loss = criterion(outputs, labels)
    
    #反向传播
    loss.backward()
    optimizer.step()

	#第二种写法
	
	#前馈计算输出和损失
	outputs = net(images)
	loss = criterion(outputs, labels)
    
    #梯度置零，也就是把loss关于weight的导数变成0
    optimizer.zero_grad()
    
    #反向传播
    loss.backward()
    optimizer.step()

不管哪种写法，都是最后进行反向传播，至于梯度置0和前馈计算谁先谁后都行。

2.使用gpu

#1.设置decive，下面是一些常用的写法
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
device = torch.device('cuda:0') or  device = torch.device('cuda',0)
device = torch.device('cuda',1)  or torch.device('cpu',0)   
    
#2.定义的损失需要放到gpu中，用.to(device)
self.bce_with_logits_loss =