hushaomoumou的博客

原创 解决bert模型在gpu上实验结果的不可复现问题

（3）原因在于：在将类别的token拼接文本token做为bert模型的输入时，涉及到使用set()的方式来过滤类别token的重复元素。由于set()是一种无序的不重复元素序列，因此每次在gpu运行代码时，过滤后的类别token中元素的顺序都不同(但在cpu上是相同的~不知为啥)，所以input_ids会发生变换。（1）在设置完第一步中的随机种子后，基本上可实现结果的可复现性。（2）后来通过检查发现，bert的输入input_ids每次不一样，因此得到的输出表征会不同，自然最终的实验结果也会不同。