weixin_52995574的博客

原创 Pytorch -- 代码可复现需要注意的几点问题

原因是evaluate的过程影响了dataloader中的shuffle，从而使training data出现在batch中的顺序发生变化。在实验中，我将model中一处并未使用到的GRU从single direction改为bidirection之后，相同输入数据、相同超参数和相同seed的情况下，结果发生了变化。推测原因是模型初始化的时候GRU也参与其中，birectional之后GRU参数量翻倍，所需生成的随机数数量也随之增加。最近在写pytorch的程序，遇到了很多问题，总结一下。