pytorch训练过程中loss出现很大的值

在训练过程中，loss的值非常大，可能是：

（1）没有除以归一化的因子（GAN中需要除以256*256*3），或者没有取平均值

（2）learning rate太大，导致更新之后的权值参数特别大，从而下一次计算prediction的时候数值很大，最终计算loss的时候prediction 和 ground truth 之间的差值特别大。