转载于:原文博客
线上wandb 挂起(卡死),本地脚本仍然正常运行,到wandb上查看run的状态, 显示为crashed
。
这个问题其实在官方repo有人反馈,可以查阅官方issue。这个问题是由网络不稳定引起的,解决方案也很简单,在本地脚本结束后,找到本地的wandb文件,用以下命令同步到线上的wandb里,假设本地的wandb文件名为 run-20230105_104214-3fjeioj8
wandb sync run-20230105_104214-3fjeioj8
再刷新线上wandb的页面,就可以看到最新的实验记录。