pytorch DataLoader相关问题记录

问题描述:

1.DataLoader中有一个shuffle参数，意思为在训练中是否打乱数据集，当我在试验中该参数设置为True时，在Mnist中，相对于False对最终的结果很小(略微下降)，但是在cifar10中却导致精度大幅下降。

2.在试验中当我运用验证集的时候，用https://am207.github.io/2018spring/wiki/ValidationSplits.html该方法分离训练集和验证集后发现精度相对于用全部数据集(即不使用验证集)训练精度也大幅下降，即使验证集的size很小如100，依然会出现该现象。猜测可能是dataloader中运用sampler参数有问题(该分离方法，并不是生成单独的loader，而是根据sampler中的index调用训练集中的数据)。可选的方法是自己手动先将训练集分离成两部分，然后分别生成dataloarder，这时就不需要设置sampler。一个简单的实例.