小武实习的debug日记

最新推荐文章于 2023-11-11 22:38:23 发布

阿猫的自拍

最新推荐文章于 2023-11-11 22:38:23 发布

阅读量624

点赞数

本文链接：https://blog.csdn.net/weixin_37721058/article/details/94548349

版权

这篇博客记录了小武在实习中遇到的两个问题：一是如何处理Python路径中包含中文的情况，解决方案包括在Python3和Python2中使用不同的编码方式；二是关于在训练中如何设置cudnn.benchmark以优化CUDA运行效率，说明了其工作原理和使用准则。同时，还提及了模型参数的差异化学习率设置和预训练模型中某些层的冻结方法，以及文件批量重命名的操作过程。

摘要由CSDN通过智能技术生成

OSError: Unable to open file (unable to open file: name = ‘GWD_DATA/DT3/train/4G\u4e2d\u56fd\u8054\u901a/gl_20190626000190230001.h5’, errno = 2, error message = ‘No such file or directory’, flags = 0, o_flags = 0)

路径中有中文，该怎么办呢？
python3的解决办法：字符串.encode(‘utf-8’).decode(‘unicode_escape’)
python2：字符串.decode(‘unicode_escape’)

小武与随机种子数的

np.random.seed(args.seed)
torch.manual_seed(args.seed)
if torch.cuda.is_available():
if not args.cuda:
print(‘WARNING: You have a CUDA device, so you should probably run with --cuda’)
else:
torch.cuda.manual_seed_all(args.seed)

小武与cudnn在训练中相遇：

torch.backends.cudnn.benchmark = true

总的来说，大部分情况下，设置这个 flag 可以让内置的 cuDNN 的 auto-tuner 自动寻找最适合当前配置的高效算法，来达到优化运行效率的问题。

一般来讲，应该遵循以下准则：

如果网络的输入数据维度或类型上变化不大，设置 torch.backends.cudnn.benchmark = true 可以增加运行效率&#