【转载】wandb发生crashed，服务器任务仍然在运行，恢复wandb任务的解决方案

转载于：原文博客

线上wandb 挂起（卡死），本地脚本仍然正常运行，到wandb上查看run的状态， 显示为crashed。

这个问题其实在官方repo有人反馈，可以查阅官方issue。这个问题是由网络不稳定引起的，解决方案也很简单，在本地脚本结束后，找到本地的wandb文件，用以下命令同步到线上的wandb里，假设本地的wandb文件名为 run-20230105_104214-3fjeioj8

wandb sync run-20230105_104214-3fjeioj8

再刷新线上wandb的页面，就可以看到最新的实验记录。