Wandb:make visualization better than Tensorboard
wandb :一个在线的可多人协作的多功能可视化工具包
我最开始使用的tensorboard,还写了一些相关tensorboard的脚本用于实验。tensorboard这里就不详细介绍了,相信大家都比较了解。直到尝试了wandb。
更自动化的实验记录
话不多说,直接上图:
配置文件:
之前的配置文件都是用字典跟模型一起保存,要查看的时候要得加载模型,比较麻烦。
实验结果:
运行log(可下载):
系统状况(虽然感觉没啥用):
Sweep
参数搜索,我最喜欢的地方。
但你不懂参数设置,并且在打kaggle的时候加入多种trick,但是不知道怎么组合有效,就需要不停的关注和跟进实验情况,但是使用sweep进行相关设置之后,就可以比较放心的干其他事。想起来的时候看一眼即可,其会根据你设置的config进行搜索,并根据搜索情况列出相关参数对模型的重要程度已经相关性。
下面给大家打个样(蒸的很关键),差不多就是这样,上手简单,相关参数请自行查阅org doc:
Define sweep configuration - Documentation (wandb.ai)
WANDB_SWEEP_PROJECT = 'rsna-breast-cancer-sweeps'
WANDB_PROJECT = 'RSNA-breast-cancer'
def main(config):
train_data,train_label,test_data,test_label(config)
model = build_model(config)
optim,schedule = build_opt_schedule(model,config)
with wandb.init(project=WANDB_PROJECT, name=name,group=WANDB_RUN_NAME) as run:
for epoch in range(epoch_num):
train_one_epoch(model,eptim,schedule,config)
test_one_epoch(model,config)
save_model(model)
run.log({
'eval_cancer_loss': cancer_loss,
'eval_f1': f1,
'max_eval_f1': best_eval_score,
'eval_f1_thres': thres,
'eval_loss': loss,
'eval_aux_loss': aux_loss,
'epoch': epoch
})
sweep_id = wandb.sweep(sweep={
'method': 'bayes',
'name': 'rsna-sweep',
'metric': {
'goal': 'maximize',
'name': 'max_eval_f1'
},
'parameters': {
'ONE_CYCLE_PCT_START': {
'values': [0.05,0.1,0.15]
},
'EPOCHS': {
'min': 2,
'max': 12,
'distribution': 'q_log_uniform_values'
},
'DROPOUT': {
'values': [0.1, 0.2,0.3]
}
'POSITIVE_TARGET_WEIGHT': {
'min': 1.,
'max': 40.,
'distribution': 'uniform'
},
'SMOTHING': {
'min': 0.01,
'max': 0.1,
'distribution': 'log_uniform_values'
},}
},
project=WANDB_SWEEP_PROJECT)
print('Generated sweep id', sweep_id)
def wandb_callback():
with wandb.init() as run:
config = run.config
print('params', config)
main(config)
# Start sweep job.
wandb.agent(sweep_id,
project=WANDB_SWEEP_PROJECT,
function=wandb_callback,
count=100000)
END
然后,我只是刚刚开始尝试使用,不是所有的功能都使用过,还有一些其他功能请根据org doc执行探索。
- Visualize & Analyze Tables
- Collaborate on reports