GRU网络 Dataloader打乱与否会影响测试时的准确率

如题：
我是用GRU做多分类模型，在组织数据的时候进行了各种类型的shuffle，训练期间准确率曲线和loss曲线正常，准确率最佳能达到95%左右。
验证时与训练集差不多准确率。但是在测试时，test_loader如果选shuffle那么准确率还能看，略低于训练时，当然这也属于正常现象。但是当我实际使用的时候，面对实际数据，无法组织样本进行shuffle，此时准确率低的离谱。
目前已经排除了数据和标签不匹配的情况，现在的解决办法是重新训练模型，训练模型时完全不进行shuffle操作，虽然拿到的样本会有些问题，但是可以解决不shuffle时的准确率过低的问题。
如有和我同样问题的大佬欢迎探讨。