2024年【挖坑】深度学习模型的可复现性_深度模型的可重复性，2024年最新算法真题解析：美团+Tencent+字节跳动+阿里+360+拼多多

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

更多可见计算机视觉-Paper&Code - 知乎

众所周知，深度学习是个黑盒，每次training都像在抽奖，但是对于模型落地，以及作为工程师来说，不可复现=没有意义。那么对于Pytorch如何能够尽可能的保证模型训练结果能够复现呢。本文收集整理了可能导致模型难以复现的原因，虽然不可能完全避免随机因素，但是可以通过一些设置尽可能降低模型的随机性

训练层面

Pytorch官方有提及到复现的问题Reproducibility - PyTorch 1.11.0 documentation

Pytorch不保证跨不同PyTorch 版本或不同平台的下的模型可以完全复现结果。并且即使使用相同的随机数种子，CPU 和 GPU 执行之间的结果也可能无法复现。但是，我们可以在相同设备和版本下，通过配置 PyTorch 以避免使用带有随机性的算法，即使去掉这些随机操作会模型运行非常慢

随机种子设置

import torch
torch.manual_seed(0)

GPU训练

当使用一组新的参数调用 cudnn卷积算子时，cudnn会去所有操作路径中找到最快的一个。因此由于benchmark噪音下，即使是在同一台机器上在后续运行中cudnn会选择不同的算法路径。

import torch
import numpy as np
import random

seed=0

random.seed(seed)
np.random.seed(seed)
if torch.cuda.is_available():
    torch.cuda.manual_seed_all(seed)

torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.cuda.manual_seed_all(seed)

# Remove randomness (may be slower on Tesla GPUs) 
# https://pytorch.org/docs/stable/notes/randomness.html
if seed == 0:
    torch.backends.cudnn.deterministic = True
    torch.backends.cudnn.benchmark = False

参数设置

类似的Batchsize都必须保证相同，Batch Size决定了要学习多少次样本后，进行一次反向传播。dropout 可能也会、多 GPU 并行训练都会带来随机性。

数据层面

DataLoader

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**