pytorch-损失函数

损失函数只是帮助网络算出一个误差的数值，然后反向求导算出误差对所有网络层权重参数的梯度，梯度下降对所有带参数的网络层进行参数更新。一般损失函数并不像BN、Conv等网络层有参数，不需要去存储参数和维护状态信息，直接用nn.functional里面的函数（例如F.mse_loss）或者实例化nn.L1Loss()类做计算就可以。