每次迭代,loss的波动很大,有如下几方面:
(1)学习率选取较大;
(2)在loss不再下降的时候降低学习率;
(3)每个epoch训练之前,对数据进行重新打乱,如果你的 batch 的内容和顺序都是固定的,可能造成模型 overfit 这个顺序;
(4)各个 batch 的 loss 有不同是正常的,但如果波动太大,可能说明你的各个 batch 不是 homogeneous 的(即内容差别太大),不能代表整体数据。可以试试加大 batch size。
(1)学习率选取较大;
(2)在loss不再下降的时候降低学习率;
(3)每个epoch训练之前,对数据进行重新打乱,如果你的 batch 的内容和顺序都是固定的,可能造成模型 overfit 这个顺序;
(4)各个 batch 的 loss 有不同是正常的,但如果波动太大,可能说明你的各个 batch 不是 homogeneous 的(即内容差别太大),不能代表整体数据。可以试试加大 batch size。