pytorch_搭建网络_优化

一、优化器的基本框架

#class Tudui（）的书写省略
loss = nn.CrossEntropyLoss()#引入损失函数
tudui = Tudui()
optim = torch.optim.SGD(tudui.parameters(),lr=0.01)#建立优化器
for epoch in range(20):
    runing_loss = 0.0
    for data in dataloader:
        imgs,target = data
        output = tudui(imgs)
        result_loss=loss(output,target)
        result_loss.backward()
        optim.zero_grad()#上一轮的梯度清零
        result_loss.backward()#反向传递误差
        optim.step()#调用优化器
        runing_loss = runing_loss + result_loss
    print(runing_loss)

框架如下：

loss = nn.CrossEntropyLoss()#引入损失函数
tudui = Tudui()
optim = torch.optim.SGD(tudui.parameters(),lr=0.01)#建立优化器
for i in range：
	    optim.zero_grad()#上一轮的梯度清零
        result_loss.backward()#反向传递误差
        optim.step()#调用优化器

二、损失函数详讲

https://blog.csdn.net/nstarlds/article/details/104733459/

三、优化器详讲