训练的时候为什么要shuffle?
当 dataloader 的参数 shuffle 设置为 true 时,表明每次训练的数据集的顺序是一致的,模型会记住这种顺序,从而产生过拟合现象。
这里有一个例子可以用来讲解:
图中的 A 点,每次权值更新的方向是一致的,则可能会沿着红色箭头走到局部最优点,但如果打乱数据集后,每次权值更新方向是随机的,则可能会沿着白色箭头走到全局最优点,更有利于模型的收敛。
因此,固定的数据集顺序,严重限制了梯度优化方向的可选择性,导致收敛点选择空间严重变少,容易导致过拟合。
训练和验证有什么区别?
模型是从训练集中学习经验,从而不断减少训练误差,为了加快模型的收敛,因此要打乱数据;
验证集用于调整超参数,用于在训练过程中检验模型的状态与收敛情况,根据几组模型验证集上的表现决定哪组超参数拥有最好的性能。