训练的时候为什么要shuffle？训练和验证又有什么区别呢？

训练的时候为什么要shuffle?

当 dataloader 的参数 shuffle 设置为 true 时，表明每次训练的数据集的顺序是一致的，模型会记住这种顺序，从而产生过拟合现象。
这里有一个例子可以用来讲解：

图中的 A 点，每次权值更新的方向是一致的，则可能会沿着红色箭头走到局部最优点，但如果打乱数据集后，每次权值更新方向是随机的，则可能会沿着白色箭头走到全局最优点，更有利于模型的收敛。
因此，固定的数据集顺序，严重限制了梯度优化方向的可选择性，导致收敛点选择空间严重变少，容易导致过拟合。

训练和验证有什么区别？

模型是从训练集中学习经验，从而不断减少训练误差，为了加快模型的收敛，因此要打乱数据；
验证集用于调整超参数，用于在训练过程中检验模型的状态与收敛情况，根据几组模型验证集上的表现决定哪组超参数拥有最好的性能。