- 博客(2)
- 收藏
- 关注
RSS订阅原创 李宏毅hw2笔记
concat_nframes参数设置学习率设置：0.0001,0.0002，余弦退火batch_size：512->2048网络架构改变:3个隐藏层，1024，batchnorm，dropout（0.35）weight decay
2023-12-30 17:24:46
352
原创 随机数种子cudnn.benchmark与cudnn.deterministic
torch.backends.cudnn.benchmark = True可以提升训练速度。会让程序在开始时花费一点额外时间，为整个网络的每个卷积层搜索最适合它的卷积实现算法，进而实现网络的加速。但是由于计算中有随机性，每次的网络结果可能会略有差异。torch.backends.cudnn.deterministic = True 固定cuda的随机数种子，每次返回的卷积算法将是确定的。某些操作（如卷积）在实现上使用了随机性，它们可能会引入一些随机性的元素，例如权重初始化、Dropout等。
2023-12-02 20:12:01
569
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人