qq_41043438的博客

原创 pytorch--＞optimizer.zero_grad()、loss.backward()、optimizer.step()和scheduler.step()

优化器optimizer的作用优化器就是需要根据网络反向传播的梯度信息来更新网络的参数，以起到降低loss函数值的作用 # compute gradient and do SGD step optimizer.zero_grad() loss.backward() optimizer.step()总得来说，这三个函数的作用是先将梯度归零（optimizer.zero_grad()），然后反向传播计算得到每个参数的梯度值（loss.backward()